Robots.txt 產生與驗證

設定檢索規則,檢查 Googlebot 能否存取某個路徑。

檢索規則

先選擇應遵循這組規則的檢索器。

網站地圖

產生的 robots.txt

0
準備就緒。範例會為所有檢索器禁止 /admin。

規則檢查

    測試路徑

    檢索規則會在你的瀏覽器中產生和驗證,不會上傳到 BroBroGo。

    常見問題

    這個工具能寫入哪些 robots.txt 規則?

    你可以加入 User-agent 群組、Allow 和 Disallow 路徑,以及一個或多個 Sitemap 位址。右側內容可直接複製到 robots.txt 檔案。

    路徑檢查如何選擇規則?

    它依 Google 的比對順序判斷:符合路徑最長的規則優先;Allow 和 Disallow 同樣具體時,Allow 優先。

    Disallow 會讓頁面從 Google 搜尋中消失嗎?

    不會。其他頁面仍可連到被禁止檢索的網址,讓它出現在搜尋結果中。需要阻止收錄時,請使用 noindex、存取控制,或刪除頁面。