クロールバジェットとは？気にすべきサイトの見分け方を実データで解説

クロールバジェットとは？上限が決まる仕組み

クロールバジェットとは、Googleが一定期間内に1つのサイトをクロールする量の上限のことだ。Googlebotは無限にページを巡回できるわけではなく、サイトごとに「どれくらいの頻度・量でクロールするか」を内部的に決めている。これは主に2つの要素で決まる。

• クロール能力の上限：サイトのサーバーが負荷に耐えられる範囲。応答が遅い・エラーが多いとクロール量は抑えられる。
• クロールの需要：そのサイト・ページがどれだけ重要で、どれだけ更新されるか。人気が高く更新頻度が高いほどクロールされやすい。

この2つの兼ね合いで、1サイトあたりのクロール量が決まる。これがクロールバジェットの基本的な仕組みだ。

ほとんどのサイトは気にしなくていい（Google公式の判定基準）

重要なのはここからだ。Googleは公式ドキュメントで、クロールバジェットを気にすべきサイトの規模を、具体的な数値で示している。

• 大規模サイト：重複を除いて100万ページ以上あり、コンテンツが週1回程度更新される
• 中規模以上のサイト：重複を除いて1万ページ以上あり、コンテンツが毎日更新される

そしてGoogleは「公開した日と同じ日にページがクロールされているなら、このトピックを気にする必要はない」「新しいサイトや数千ページ程度のサイトは、クロールバジェットの管理ではなくサイトマップの更新とインデックス状況の確認に注力すればよい」と明記している。つまり数千ページ規模までのサイトは、そもそも対象外だ。

自分のサイトが該当するかどうかは、次のフローで判定できる。

実データ：小規模2サイトのクロール統計【2サイト比較】

抽象論だけでは納得しにくいので、筆者が運営する2つのサイトの実際のクロール統計（Search Consoleのクロール統計レポート、過去約3ヶ月）を開示する。規模も運用歴も異なる2サイトだ。

注目してほしいのは再クロール（Refresh）の割合だ。両サイトとも、クロールの94〜97%が「既存ページの再クロール」で、新規ページの発見（Discovery）はわずか3〜6%。これは「クロールすべき新しいページはとっくに巡回し終わり、Googleが既存ページの更新チェックに回っている」状態を意味する。

クロールバジェット不足とは、本来「新しいページがなかなかクロールされず放置される」状態を指す。だが両サイトはその逆で、新規がすぐ処理され、あとは再クロールに余裕を使っている。規模も運用歴も違う2サイトが、どちらもクロールに余裕がある——これが「個人〜中小規模サイトはクロールバジェットを気にしなくていい」ことの実データだ。Googleの基準である1万ページにも遠く及ばない。

それでも気にすべきなのはどんなサイトか

では、クロールバジェットが実際に問題になるのはどんなサイトか。Googleの基準と実務感覚を合わせると、次のような特徴を持つサイトだ。

• ページ数が非常に多い：1万〜数十万ページ以上の大規模メディア、大規模ECサイトなど
• URLが自動生成される構造：検索条件・絞り込み・並び替えなどで、パラメータ違いのURLが無限に増えるサイト（いわゆるDB型・データベース型サイト）
• 更新頻度が高い：毎日大量のページが追加・更新され、その反映スピードが事業に直結するサイト

こうしたサイトでは、クローラーが不要なページ（重複・低品質な自動生成URL）の巡回に時間を使いすぎ、肝心の重要ページの更新が反映されにくくなることがある。これがクロールバジェットが「問題になる」典型的なケースだ。

クロールバジェットより大事なこと：インデックス品質の管理

ここで実務的な本音を書いておきたい。大量ページを持つDB型サイトを扱う現場でも、「クロールバジェット最適化」を主目的に動くことは実はあまり多くない。やることの中心は、クロールの節約そのものではなく、不要・重複ページを検索対象から正しく外す「インデックス品質の管理」だ。

具体的には、次の3つの基本的な対策で対応する。

• noindex：検索結果に出す必要のない自動生成ページや重複ページをインデックス対象から外す
• canonicalタグ：内容が似たURLが複数ある場合に、正規のURLを1つに集約する
• robots.txt：クロールさせる必要のないディレクトリへのアクセスを制御する

これらは結果的にクロール効率も整えるが、出発点は「バジェットの節約」ではなく「検索に出すべきページとそうでないページを仕分ける」ことにある。そして実感として、ある程度ドメインが強ければ、クローラーの巡回頻度は意外と高い。バジェット不足を過度に心配するより、不要ページを増やさない設計と、上記3つの整理を地道にやる方が実務的に効く。

なお、クロールはされているのにインデックスされない場合は、バジェットとは別の問題であることが多い。その切り分けはクロール済み-インデックス未登録の記事で詳しく扱っている。

クロールバジェットの確認方法

自分のサイトのクロール状況は、Search Consoleの「クロールの統計情報」レポートで確認できる。

1. Search Consoleで「設定」を開く
2. 「クロールの統計情報」→「レポートを開く」をクリック
3. 1日あたりのクロールリクエスト数、応答時間、目的別（Refresh / Discovery）の内訳を確認する

見るべきは、新規ページを公開したときに、それが数日以内にクロール・インデックスされているかだ。問題なく反映されているなら、クロールバジェットは足りている。逆に、大量のページが「検出 - インデックス未登録」のまま長期間放置されているなら、はじめてバジェットを検討する段階に入る。多くのサイトは前者であり、心配は不要だ。

クロールを最適化する前に、サイトの土台を整える

クロールバジェットは、大規模サイトにとっては重要なテーマだが、多くのサイトにとっては優先度の高い課題ではない。それよりも、不要ページを増やさない構造と、インデックスすべきページの品質を高めることの方が、ほとんどのサイトでは効果が大きい。

SEGOは、サイトのSEO・AI検索対応の状態を無料で診断するツールだ。クロールやインデックスの前提となるサイトの健全性がどの段階にあるかを把握しておくと、限られた時間をどこに使うべきか判断しやすくなる。

クロールバジェットに関するよくある質問

Q1. クロールバジェットとは何ですか？

Googleが一定期間内に1つのサイトをクロールする量の上限のことです。サーバーが耐えられる負荷の範囲（クロール能力）と、サイトの重要度・更新頻度（クロール需要）の兼ね合いで決まります。無限にクロールされるわけではないため、特に大規模サイトではこの上限が意味を持ちます。

Q2. 小規模サイトでもクロールバジェットの対策は必要ですか？

基本的に不要です。Googleは、数千ページ程度までのサイトはクロールバジェットを気にする必要がないと明言しています。対象になるのは、重複を除いて1万ページ以上かつ毎日更新されるような中〜大規模サイトです。新規ページが公開後すぐにクロールされているなら、対策は要りません。

Q3. クロールバジェットの上限はどうやって確認できますか？

Search Consoleの「設定」→「クロールの統計情報」レポートで、1日あたりのクロールリクエスト数や応答時間を確認できます。明確な「上限値」が表示されるわけではありませんが、新規ページが数日以内にクロール・インデックスされているかを見れば、バジェットが足りているかどうかは判断できます。

Q4. クロールバジェットを最適化するには何をすればいいですか？

大規模サイトの場合、不要なページ（重複・低品質な自動生成URL）をnoindexやrobots.txtで整理し、canonicalで正規URLを集約するのが基本です。ただしこれらは「バジェット節約」というより「インデックス品質の管理」であり、結果としてクロール効率も整います。小規模サイトでは、そもそも最適化の必要はありません。

SEGOで自サイトの状態を無料診断する