Robots.txt作成＆テストツール
クロールルールを作成し、Googlebotがどのパスにアクセスできるかを検証します。
クロールルール
これらのルールを適用するクローラー（クローラー名）から指定してください。
サイトマップ
生成されたrobots.txt
0ルール検証
パスのテスト
クロールルールはブラウザ内で作成・検証されます。BroBroGoにアップロードされることはありません。
よくある質問
このジェネレーターでrobots.txtに何を追加できますか？
ユーザーエージェントのグループ、Allow（許可）およびDisallow（禁止）パス、そして1つ以上のサイトマップURLを追加できます。プレビューに表示された内容は、そのままrobots.txtファイルとしてコピーして使用できます。
パスチェッカーはどのようにルールを選択しますか？
Googleの優先順位ルールに従います。基本的には、最も長く一致するパスのルールが優先されます。一致するAllowルールとDisallowルールの具体性がまったく同じである場合は、Allowルールが優先されます。
Disallowを設定すれば、ページはGoogle検索から削除されますか？
いいえ。ブロックされたページであっても、他のページからリンクされている場合は検索結果に表示されることがあります。検索結果に表示させないようにするには、noindexタグを使用するか、アクセス制限を設定するか、ページ自体を削除してください。