ابزار ساخت و اعتبارسنجی Robots.txt
قوانین خزش خود را بسازید و بررسی کنید که گوگلبات به کدام مسیرها دسترسی دارد.
قوانین خزش
با ربات خزنده (crawler) که باید این قوانین را دنبال کند شروع کنید.
نقشههای سایت
فایل robots.txt تولید شده
0بررسی قوانین
تست یک مسیر
قوانین خزش شما در مرورگرتان ساخته و بررسی میشوند. هیچ اطلاعاتی در BroBroGo آپلود نمیشود.
سوالات متداول
این ابزار چه مواردی را میتواند به robots.txt اضافه کند؟
یک گروه User-agent، مسیرهای مجاز (Allow) و غیرمجاز (Disallow) و یک یا چند نشانی اینترنتی نقشه سایت (Sitemap) اضافه کنید. پیشنمایش آماده کپی در فایل robots.txt شما خواهد بود.
ابزار بررسی مسیر چگونه یک قانون را انتخاب میکند؟
این ابزار از ترتیب مطابقت گوگل پیروی میکند: طولانیترین مسیر مطابقتیافته برنده است. اگر قوانین Allow و Disallow مطابقتیافته به یک اندازه اختصاصی باشند، قانون Allow اولویت دارد.
آیا دستور Disallow صفحه را از نتایج جستجوی گوگل حذف میکند؟
خیر. یک صفحه مسدود شده همچنان ممکن است در نتایج جستجو ظاهر شود اگر صفحات دیگر به آن لینک داده باشند. برای دور نگه داشتن کامل صفحه از نتایج جستجو، از تگ noindex، کنترل دسترسی یا حذف کامل صفحه استفاده کنید.