Robots.txt 產生與驗證
設定檢索規則,檢查 Googlebot 能否存取某個路徑。
檢索規則
先選擇應遵循這組規則的檢索器。
網站地圖
產生的 robots.txt
0規則檢查
測試路徑
檢索規則會在你的瀏覽器中產生和驗證,不會上傳到 BroBroGo。
常見問題
這個工具能寫入哪些 robots.txt 規則?
你可以加入 User-agent 群組、Allow 和 Disallow 路徑,以及一個或多個 Sitemap 位址。右側內容可直接複製到 robots.txt 檔案。
路徑檢查如何選擇規則?
它依 Google 的比對順序判斷:符合路徑最長的規則優先;Allow 和 Disallow 同樣具體時,Allow 優先。
Disallow 會讓頁面從 Google 搜尋中消失嗎?
不會。其他頁面仍可連到被禁止檢索的網址,讓它出現在搜尋結果中。需要阻止收錄時,請使用 noindex、存取控制,或刪除頁面。