الغرض من ملف robots.txt ودور أداة "مولّد ومدقق Robots.txt"
تساعدك أداة "مولّد ومدقق Robots.txt" في إنشاء وفحص قواعد زحف برامج زوار المواقع، مثل Googlebot، لكي تتبعها عند زيارة موقعك الإلكتروني. تتيح لك الأداة بناء ملف robots.txt عبر إضافة قواعد متنوعة لبرامج زحف متعددة، ثم اختبار مسارات محددة في موقعك لمعرفة ما إذا كان برنامج الزحف مسموحًا له بالوصول إليها أم أنه محظور بناءً على تلك القواعد.
تبدأ الأداة افتراضيًا بتهيئة أولية تتضمن User-agent: * و Disallow: /admin. وتعد هذه الأداة مفيدة لكل من:
- مشرفي المواقع الذين يرغبون في التحكم بكيفية وصول برامج الزحف إلى مواقعهم.
- المطورين الذين يحتاجون إلى إنشاء ملفات robots.txt أو تعديلها.
- أي شخص يرغب في منع برامج الزحف من الوصول إلى أجزاء معينة من موقعه الإلكتروني.
- المستخدمين الذين يريدون التأكد من عدم حظر الصفحات المهمة بالخطأ عن برامج الزحف.
مدخلات الأداة وكيفية ضبطها
لإنشاء القواعد واختبارها، تعتمد الأداة على مجموعة من المدخلات التي تحدد سلوك برامج الزحف:
- وكيل المستخدم: اسم برنامج الزحف المستهدف، أو الرمز
*لتطبيق القواعد على جميع برامج الزحف. يجب الانتباه إلى أن أسماء وكلاء المستخدم لا يمكن أن تحتوي على مسافات. - المسار (Path): مسار محدد داخل الموقع الإلكتروني، ويشترط فيه أن يبدأ دائمًا بالرمز
/وألا يحتوي على مسافات. - عنوان URL لخريطة الموقع: العنوان الكامل لخريطة الموقع، ويجب أن يبدأ ببروتوكول
http://أوhttps://. - مسار URL: مسار محدد في موقعك ترغب في اختبار مدى قابليته للوصول.
- برنامج الزحف: اسم برنامج الزحف الذي تريد اختبار المسار في مواجهته.
مخرجات الأداة والتحقق من القواعد
عند استخدام الأداة، تظهر لك مجموعة من النتائج والمخرجات الفورية التي تساعدك على تقييم الملف:
- ملف robots.txt المُنشأ: معاينة حية لملف robots.txt الذي قمت بتركيبه.
{count}من القواعد: يوضح عدد القواعد الإجمالي التي تم إنشاؤها داخل الملف.- هناك
{count}من العناصر المطلوب مراجعتها: يظهر عدد المشاكل أو الأخطاء التي تم العثور عليها في القواعد. - مسموح —
{rule}: تشير إلى أن المسار الذي تم اختباره مسموح بالوصول إليه، وتوضح القاعدة التي سمحت بذلك. - محظور —
{rule}: تشير إلى أن المسار الذي تم اختباره محظور، وتوضح القاعدة التي تسببت في هذا الحظر. - لا توجد قاعدة مطابقة. تسمح Google بهذا المسار افتراضيًا.: تظهر هذه النتيجة عندما لا تنطبق أي قاعدة من القواعد المكتوبة على المسار المختبر.
قواعد المطابقة والتعارضات وحالات الحافة لدى Google
تتبع الأداة معايير دقيقة تتوافق مع طريقة تعامل محرك البحث Google مع ملفات robots.txt:
- ترتيب المطابقة: عند فحص المسارات، تتبع الأداة ترتيب المطابقة الخاص بـ Google، حيث يفوز المسار المطابق الأطول لأنه الأكثر تحديدًا.
- تساوي التحديد: إذا تساوت قاعدتا "سماح" (Allow) و"حظر" (Disallow) في درجة التحديد (أي كانتا بنفس الطول والمسار)، فإن قاعدة "سماح" (Allow) هي التي تفوز وتُطبق.
- استخدام الرمز $: يمكن استخدام الرمز
$في نهاية مسار القاعدة فقط. - تكرار القواعد: إذا تكررت قاعدة معينة لوكيل المستخدم نفسه، يتم تمييزها بالتنبيه التالي: "هذه القاعدة مكررة لوكيل المستخدم نفسه".
- تطابق مسارات السماح والحظر: إذا استخدمت قاعدتا Allow وDisallow المسار نفسه، يتم إظهار تنبيه: "يستخدم Allow وDisallow المسار نفسه. تطبق Google قاعدة Allow عندما تتساوى القاعدتان في درجة التحديد".
- تكرار وكيل المستخدم في مجموعات متعددة: إذا تم تسمية وكيل المستخدم نفسه في مجموعات مختلفة، يتم إظهار تنبيه: "تدمج Google المجموعات التي تسمي وكيل المستخدم نفسه".
- حجم الملف: إذا تجاوز حجم ملف robots.txt المُنشأ 100,000 حرف، يتم إظهار تنبيه: "ملف robots.txt هذا كبير جدًا لمراجعته هنا".
حدود ملف robots.txt في منع الفهرسة
من المهم استيعاب الحدود التقنية لملف robots.txt؛ حيث إن منع الزحف لا يعني بالضرورة منع الظهور في نتائج البحث. يمكن أن تظل الصفحة المحظورة بواسطة قواعد الملف تظهر في نتائج البحث إذا كانت هناك صفحات أخرى على شبكة الإنترنت ترتبط بها وتؤدي إليها.
لا تقوم هذه الأداة بالفحص والتحقق من وسوم منع الفهرسة noindex، أو أنظمة التحكم في الوصول (access control)، أو طلبات إزالة الصفحات. لمنع ظهور الصفحات تمامًا في نتائج البحث، يجب استخدام تلك الوسائل والأساليب المخصصة وليس الاكتفاء بملف robots.txt.
الخصوصية ومعالجة البيانات
تُنشأ قواعد الزحف وتُفحص بالكامل داخل متصفحك. لا يتم رفع أي من بياناتك أو قواعدك إلى خوادم BroBroGo، مما يضمن بقاء عملك محليًا وخاصًا بالكامل أثناء استخدام الأداة.
الأسئلة الشائعة
ماذا يمكن لهذا المولّد إضافته إلى robots.txt؟
أضف مجموعة وكيل مستخدم ومسارات Allow وDisallow وعنوانًا واحدًا أو أكثر لخريطة الموقع. تصبح المعاينة جاهزة للنسخ إلى ملف robots.txt.
كيف يختار فاحص المسار القاعدة؟
يتبع ترتيب المطابقة لدى Google: يفوز أطول مسار مطابق. وإذا تساوت قاعدتا Allow وDisallow المطابقتان في درجة التحديد، تفوز Allow.
هل تزيل Disallow صفحة من بحث Google؟
لا. قد تظل الصفحة المحظورة ظاهرة في نتائج البحث عندما ترتبط بها صفحات أخرى. استخدم noindex أو التحكم في الوصول أو أزل الصفحة إذا أردت منع ظهورها في البحث.