مولّد ومدقق Robots.txt
أنشئ قواعد الزحف وتحقق من المسار الذي يمكن لـ Googlebot الوصول إليه.
قواعد الزحف
ابدأ ببرنامج الزحف الذي يجب أن يتبع هذه القواعد.
خرائط الموقع
ملف robots.txt المُنشأ
0فحص القواعد
اختبار مسار
تُنشأ قواعد الزحف وتُفحص في متصفحك. لا يُرفع شيء إلى BroBroGo.
الأسئلة الشائعة
ماذا يمكن لهذا المولّد إضافته إلى robots.txt؟
أضف مجموعة وكيل مستخدم ومسارات Allow وDisallow وعنوانًا واحدًا أو أكثر لخريطة الموقع. تصبح المعاينة جاهزة للنسخ إلى ملف robots.txt.
كيف يختار فاحص المسار القاعدة؟
يتبع ترتيب المطابقة لدى Google: يفوز أطول مسار مطابق. وإذا تساوت قاعدتا Allow وDisallow المطابقتان في درجة التحديد، تفوز Allow.
هل تزيل Disallow صفحة من بحث Google؟
لا. قد تظل الصفحة المحظورة ظاهرة في نتائج البحث عندما ترتبط بها صفحات أخرى. استخدم noindex أو التحكم في الوصول أو أزل الصفحة إذا أردت منع ظهورها في البحث.