Robots.txt 生成与校验
配置抓取规则，检查 Googlebot 能否访问某个路径。
抓取规则
先选择应遵循这组规则的爬虫。
站点地图
生成的 robots.txt
0规则检查
测试路径
抓取规则会在你的浏览器中生成和检查，不会上传到 BroBroGo。
常见问题
这个工具能写入哪些 robots.txt 规则？
你可以添加 User-agent 分组、Allow 和 Disallow 路径，以及一个或多个 Sitemap 地址。右侧内容可以直接复制到 robots.txt 文件。
路径检查如何选择规则？
它按 Google 的匹配顺序判断：匹配路径最长的规则优先；Allow 和 Disallow 同样具体时，Allow 优先。
Disallow 会让页面从 Google 搜索中消失吗？
不会。其他页面仍可链接到被禁止抓取的地址，使它出现在搜索结果中。需要阻止收录时，请使用 noindex、访问控制，或删除页面。