เครื่องมือสร้างและตรวจสอบ Robots.txt
สร้างกฎการไต่ข้อมูลและตรวจสอบว่า Googlebot สามารถเข้าถึงเส้นทางใดได้บ้าง
กฎการไต่ข้อมูล
เริ่มต้นด้วยการระบุบอตไต่ข้อมูล (crawler) ที่ต้องการให้ปฏิบัติตามกฎเหล่านี้
แผนผังเว็บไซต์ (Sitemaps)
robots.txt ที่สร้างขึ้น
0การตรวจสอบกฎ
ทดสอบเส้นทาง
กฎการไต่ข้อมูลของคุณจะถูกสร้างและตรวจสอบภายในเบราว์เซอร์เท่านั้น ไม่มีการอัปโหลดข้อมูลใดๆ ไปยัง BroBroGo ครับ
คำถามที่พบบ่อย
เครื่องมือสร้างนี้สามารถเพิ่มข้อมูลใดลงใน robots.txt ได้บ้าง?
คุณสามารถเพิ่มกลุ่ม User-agent, กำหนดเส้นทางที่อนุญาต (Allow) และไม่อนุญาต (Disallow) รวมถึงระบุ URL ของแผนผังเว็บไซต์ (Sitemap) ได้อย่างน้อยหนึ่งรายการ โดยตัวอย่างโค้ดจะพร้อมสำหรับการคัดลอกไปใช้ในไฟล์ robots.txt ทันทีครับ
เครื่องมือตรวจสอบเส้นทางเลือกตัดสินใจตามกฎใด?
ระบบจะปฏิบัติตามลำดับการจับคู่ของ Google คือกฎที่มีเส้นทางตรงกันยาวที่สุดจะเป็นฝ่ายชนะ และหากกฎ Allow และ Disallow ที่ตรงกันมีความเฉพาะเจาะจงเท่ากัน กฎ Allow จะเป็นฝ่ายชนะครับ
คำสั่ง Disallow จะช่วยนำหน้าเว็บออกจากผลการค้นหาของ Google หรือไม่?
ไม่ใช่ครับ หน้าเว็บที่ถูกบล็อกยังคงสามารถปรากฏในผลการค้นหาได้หากมีหน้าเว็บอื่นลิงก์มาหา หากคุณต้องการป้องกันไม่ให้หน้านั้นปรากฏในผลการค้นหาอย่างเด็ดขาด ควรใช้แท็ก noindex, การควบคุมการเข้าถึง (access control) หรือลบหน้านั้นออกไปเลยครับ