معرفی ابزار ساخت و اعتبارسنجی Robots.txt
ابزار ساخت و اعتبارسنجی Robots.txt به شما کمک میکند تا قوانین مشخصی را برای خزندههای وب مانند گوگلبات (Googlebot) ایجاد و بررسی کنید تا هنگام بازدید از وبسایت شما از آنها پیروی کنند. با استفاده از این ابزار، شما میتوانید یک فایل robots.txt را با افزودن قوانین مختلف برای خزندههای گوناگون بسازید و سپس مسیرهای خاصی از وبسایت خود را آزمایش کنید تا متوجه شوید که آیا یک خزنده بر اساس آن قوانین اجازه دسترسی به مسیر مربوطه را دارد یا دسترسی آن مسدود شده است.
این ابزار برای افراد زیر کاربرد دارد:
- مدیران و پشتیبانان وبسایت که میخواهند نحوه دسترسی خزندههای وب به سایت خود را کنترل کنند.
- توسعهدهندگانی که نیاز به ساخت یا تغییر فایلهای robots.txt دارند.
- هر کسی که میخواهد از دسترسی خزندهها به بخشهای خاصی از وبسایت خود جلوگیری کند.
- کاربرانی که میخواهند مطمئن شوند صفحات مهم وبسایت آنها به طور تصادفی از دسترس خزندهها مسدود نشده است.
ورودیهای ابزار
برای ساخت و تست قوانین خزش، ابزار از ورودیهای زیر استفاده میکند:
- User-agent: نام یک خزنده مشخص، یا کاراکتر
*برای اعمال قوانین روی همه خزندهها. - مسیر (Path): مسیر مورد نظر در وبسایت که حتماً باید با کاراکتر
/شروع شود. - نشانی اینترنتی نقشه سایت: یک آدرس کامل اینترنتی که با
http://یاhttps://شروع میشود. - مسیر URL (برای تست): یک مسیر مشخص در وبسایت شما جهت بررسی وضعیت دسترسی آن.
- ربات خزنده (Crawler - برای تست): نام خزندهای که میخواهید دسترسی مسیر را در برابر قوانین آن بسازید و بسنجید.
خروجیهای ابزار و وضعیتهای بررسی
پس از تنظیم قوانین و انجام تست، ابزار خروجیهای زیر را به شما نمایش میدهد:
- فایل robots.txt تولید شده: یک پیشنمایش زنده از فایل robots.txt نهایی.
{count}قانون: تعداد کل قوانین ثبتشده در فایل robots.txt تولیدی.{count}مورد برای بررسی وجود دارد: تعداد مشکلات و خطاهای یافتشده در قوانین تنظیمشده.- مجاز —
{rule}: نشان میدهد که مسیر تستشده مجاز است و قانونی که این اجازه را صادر کرده نمایش داده میشود. - مسدود —
{rule}: نشان میدهد که مسیر تستشده مسدود است و قانونی که مانع دسترسی شده نمایش داده میشود. - هیچ قانون مطابقی یافت نشد. گوگل به طور پیشفرض دسترسی به این مسیر را مجاز میداند.: نشان میدهد که هیچ قانون خاصی بر مسیر تستشده اعمال نمیشود و دسترسی به آن باز است.
قوانین، محدودیتها و رفتارهای خاص
هنگام کار با این ابزار و نوشتن قوانین robots.txt، رعایت نکات و استانداردهای زیر که توسط ابزار بررسی میشوند الزامی است:
- تنظیمات پیشفرض: ابزار کار خود را با یک حالت پیشفرض شامل
User-agent: *و دستور مسدودسازیDisallow: /adminآغاز میکند. - محدودیتهای نام خزنده: نامهای وارد شده برای User-agent نباید حاوی فاصله (space) باشند.
- قوانین مسیرها: مسیرهای تعریفشده برای قوانین حتماً باید با
/شروع شوند و نباید هیچ فاصلهای در آنها وجود داشته باشد. - استفاده از کاراکتر $: از کاراکتر
$فقط میتوان در انتهای مسیر یک قانون استفاده کرد. - قوانین تکراری: اگر یک قانون برای یک User-agent یکسان تکرار شود، ابزار خطای "این قانون برای این User-agent تکراری است." را نمایش میدهد.
- تداخل قوانین هممسیر: اگر قوانین مجاز (Allow) و غیرمجاز (Disallow) از یک مسیر کاملاً یکسان استفاده کنند، ابزار هشدار "دستورهای Allow و Disallow از یک مسیر یکسان استفاده میکنند. گوگل در صورت یکسان بودن میزان اختصاصی بودن، دستور Allow را اعمال میکند." را صادر میکند.
- گروههای تکراری: اگر یک User-agent یکسان در چندین گروه مختلف نامبرده شود، ابزار هشدار "گوگل گروههایی را که به یک User-agent یکسان اشاره میکنند با هم ترکیب میکند." را نشان میدهد.
- فرمت نقشه سایت: نشانیهای اینترنتی نقشه سایت (Sitemap) باید آدرسهای کامل و معتبر با پروتکل
http://یاhttps://باشند. - محدودیت حجم فایل: اگر حجم فایل robots.txt تولید شده از ۱۰۰,۰۰۰ کاراکتر فراتر رود، ابزار خطای "این فایل robots.txt برای بررسی در اینجا بسیار بزرگ است." را نمایش میدهد.
نحوه اولویتبندی قوانین توسط گوگل
هنگام بررسی مسیرها، این ابزار دقیقاً از ترتیب مطابقت و اولویتبندی گوگل پیروی میکند:
- قانون طولانیتر برنده است: ابزار بر اساس طولانیترین مسیر مطابقتیافته تصمیمگیری میکند؛ یعنی هر قانونی که مسیر طولانیتر و مشخصتری داشته باشد، اولویت بالاتری دارد.
- اولویت قانون مجاز در شرایط برابر: اگر قوانین مطابقتیافته مجاز (Allow) و غیرمجاز (Disallow) به یک اندازه اختصاصی و همطول باشند، قانون مجاز (Allow) اولویت دارد و برنده است.
باید توجه داشته باشید که مسدود کردن دسترسی یک صفحه در فایل robots.txt به معنای حذف کامل آن از نتایج جستجو نیست. یک صفحه مسدود شده همچنان ممکن است در نتایج جستجو ظاهر شود، به شرطی که صفحات دیگر به آن لینک داده باشند. این ابزار مواردی مانند تگ noindex، سیستمهای کنترل دسترسی (Access Control) یا حذف کامل صفحه را بررسی نمیکند.
حریم خصوصی و پردازش اطلاعات
امنیت اطلاعات شما در این ابزار به طور کامل حفظ میشود. قوانین خزش شما در مرورگرتان ساخته و بررسی میشوند و هیچ اطلاعاتی در سرورهای BroBroGo آپلود نمیشود.
سوالات متداول (FAQ)
این ابزار چه مواردی را میتواند به robots.txt اضافه کند؟
یک گروه User-agent، مسیرهای مجاز (Allow) و غیرمجاز (Disallow) و یک یا چند نشانی اینترنتی نقشه سایت (Sitemap) اضافه کنید. پیشنمایش آماده کپی در فایل robots.txt شما خواهد بود.
ابزار بررسی مسیر چگونه یک قانون را انتخاب میکند؟
این ابزار از ترتیب مطابقت گوگل پیروی میکند: طولانیترین مسیر مطابقتیافته برنده است. اگر قوانین Allow و Disallow مطابقتیافته به یک اندازه اختصاصی باشند، قانون Allow اولویت دارد.
آیا دستور Disallow صفحه را از نتایج جستجوی گوگل حذف میکند؟
خیر. یک صفحه مسدود شده همچنان ممکن است در نتایج جستجو ظاهر شود اگر صفحات دیگر به آن لینک داده باشند. برای دور نگه داشتن کامل صفحه از نتایج جستجو، از تگ noindex، کنترل دسترسی یا حذف کامل صفحه استفاده کنید.