クロール予算の重要性と需要・容量の決定要因
ウェブサイトの検索エンジン最適化（SEO）において、クロール予算（Crawl Budget）の管理は重要な要素です。検索エンジンのクローラーがサイト内を巡回する際、サーバーに過度な負荷をかけずに、必要なページを適切な頻度で取得できる能力が求められます。
クロール需要とサーバー容量は、複数の要因によって決定されます。サイトの規模やコンテンツの更新頻度は、クローラーがどれだけ頻繁にページを再訪問すべきかという需要を左右します。一方で、サーバーの応答時間、最大リクエスト処理能力、およびクローラーに割り当て可能なリソースの割合は、サーバーが安全に処理できる許容容量を決定します。これらのバランスを把握することで、インデックス未登録やクロール遅延といった問題を未然に防ぐことができます。
1日あたりのクロール需要の見積もり
サイトの規模と更新頻度から、1日あたりに必要となるクロール回数（需要）を算出できます。
「ロボット クロールの予算見積りツール」では、以下の計算式に基づいて「クロール需要/日」を算出しています。
1日あたりの需要 = ( クロール可能なページ / 目標更新間隔 ) × 需要乗数
ここで「平均更新間隔」の単位には「days（日）」、「weeks（週）」、「months（月）」のいずれかを指定します。また、「需要乗数」はデフォルト値として 1.2 が設定されており、更新頻度のばらつきや突発的な再クロール要求を考慮したバッファとして機能します。
サーバー容量とボトルネックの評価
サーバーがクローラーのアクセスを安全に処理できる能力（安全容量）は、リクエストレート制限と同時実行数制限の2つの側面から評価されます。
ツールでは、以下の2つの制限値のうち、より低い（厳しい）方の値を基準とし、そこに「安全な使用率 (%)」（デフォルト値 70%）を掛け合わせることで「安全容量/日」を算出します。
- リクエストレート制限に基づく容量: サーバー容量 (requests/second) × ( (クローラーが利用可能な容量 (%)) / 100 ) × 86400 秒
- 同時実行数と応答時間に基づく容量: ( 許可されるクローラの同時実行数 / (平均応答時間 (ms) ÷ 1000) ) × 86400 秒
計算の結果、どちらの制限が全体のボトルネックになっているかに応じて、「容量のボトルネック」として以下のいずれかが出力されます。
- 利用可能なリクエストレート
- 同時実行性と応答時間
ツールの入力規則とエラー条件
正確な見積もりを算出するために、入力値には以下の制約が適用されます。
- 計算を実行するには、すべての入力フィールドを完了する必要があります。不足がある場合は「すべての入力を完了して見積もりを計算します。」と表示されます。
- 入力値は、サポートされている範囲内の通常の有限数値（最大 1e12 まで）である必要があります。これを超えたり無効な文字が含まれる場合は「サポートされている範囲内の通常の有限数値を入力します。」と表示されます。
- すべての入力値はゼロより大きくなければなりません。満たさない場合は「すべての入力はゼロより大きくなければなりません。」と表示されます。
- 「クローラーが利用可能な容量 (%)」および「安全な使用率 (%)」などのパーセンテージ設定は、100% 以下である必要があります。これを超える場合は「パーセンテージの仮定は 100% 以下である必要があります。」と表示されます。
出力結果の解釈とステータス
計算が完了すると、以下の指標が出力されます。
- クロール需要/日
- 安全容量/日
- 1 日あたりの推定達成可能なクロール数
- 需要をカバー（表示範囲は 0–100% に制限されます）
- 全ページを網羅するのにかかる日数
- 容量のボトルネック
「需要をカバー」の数値が 100% 未満の場合、ステータス欄に「モデル化された需要は安全な容量推定値を上回っています。」と表示されます。 「需要をカバー」の数値が 100% 以上の場合、ステータス欄に「安全な容量の推定値は、モデル化された需要をカバーします。」と表示されます。
プライバシーとデータ処理
本ツールに入力されたサイト規模、サーバー容量、応答時間などの前提条件は、すべて利用者のブラウザー上でローカルに計算されます。外部サーバー（BroBroGo）にデータがアップロードされることはありません。
よくある質問（FAQ）
これは、Googlebot が私のサイトをクロールする頻度を予測しますか?
いいえ。検索エンジンは、完全に公開されていないシグナルからクロールの需要と容量を設定します。この見積もりは計画と比較を目的としています。サーバー ログとクロール レポートを使用して調整してください。
見積もりはどのように計算されますか?
1 日あたりの需要は、ページ数を目標更新間隔で割った後、需要係数を乗算したものです。安全容量は、リクエスト レートと同時実行制限の低い方であり、安全使用率によって減少します。
クロール予算の見積もりと実際の検索エンジンの挙動にはどのような違いがありますか?
このツールによる計算は、入力された固定の前提条件に基づく計画上の見積もりであり、検索エンジンの動作を保証するものではありません。実際のクロールレートは、コンテンツの価値、エラーの発生状況、検索エンジン側の需要、および各クローラーの固有のポリシーによって変動します。
ボトルネックが「同時実行性と応答時間」と表示された場合、どう改善すべきですか?
このボトルネックは、サーバーの応答時間が遅いか、許可されている同時実行数が少なすぎるために、1日あたりの処理能力が制限されていることを示します。ページの読み込み速度（平均応答時間）を改善するか、サーバーの同時接続許容数を調整することで、安全容量を向上させることができます。