Robots.txt জেনারেটর ও ভ্যালিডেটর
ক্রল করার নিয়ম তৈরি করুন এবং Googlebot কোন পাথে অ্যাক্সেস করতে পারে তা পরীক্ষা করুন।
ক্রল করার নিয়মসমূহ
যে ক্রলারটি এই নিয়মগুলো অনুসরণ করবে তা দিয়ে শুরু করুন।
সাইটম্যাপসমূহ
তৈরি করা robots.txt
0নিয়ম পরীক্ষা
একটি পাথ পরীক্ষা করুন
আপনার ক্রল করার নিয়মগুলো আপনার ব্রাউজারেই তৈরি এবং পরীক্ষা করা হয়। BroBroGo-তে কিছুই আপলোড করা হয় না।
জিজ্ঞাসিত প্রশ্নাবলী
এই জেনারেটরটি robots.txt-এ কী কী যোগ করতে পারে?
একটি user-agent গ্রুপ, Allow এবং Disallow পাথ এবং এক বা একাধিক সাইটম্যাপ URL যোগ করুন। প্রিভিউটি একটি robots.txt ফাইলে কপি করার জন্য প্রস্তুত।
পাথ চেকার কীভাবে একটি নিয়ম বেছে নেয়?
এটি Google-এর ম্যাচিং অর্ডার অনুসরণ করে: সবচেয়ে দীর্ঘ ম্যাচিং পাথটি জয়ী হয়। যদি ম্যাচিং Allow এবং Disallow নিয়মগুলো সমানভাবে সুনির্দিষ্ট হয়, তবে Allow জয়ী হয়।
Disallow কি Google সার্চ থেকে কোনো পেজ সরিয়ে দেয়?
না। একটি অবরুদ্ধ পেজও সার্চ রেজাল্টে দেখাতে পারে যদি অন্য পেজগুলো থেকে সেটিতে লিঙ্ক দেওয়া থাকে। সার্চ রেজাল্ট থেকে পেজটিকে সম্পূর্ণ দূরে রাখতে noindex, অ্যাক্সেস কন্ট্রোল ব্যবহার করুন অথবা পেজটি সরিয়ে ফেলুন।