Googleのクロール頻度ってどれくらい？

あなたが記事やタイトル、メタディスクリプションを更新したり、noindexタグやnofollowタグをつけたりしても、その変更がGoogleに反映されるまでしばらくかかります。Googleのクローラーがやって来て、そのページを新しくインデックスするまで待たなければなりません。

では、Googleはどのくらいの頻度でページのクロールにやって来るかというと…

Googleのクロール頻度について明らかになった新事実

2018年10月のEnglish Google Webmaster office-hours hangoutで、クロールの頻度についての話題が上がりました。一般的な知識としては、クロール頻度はURLごとに異なる…つまり、すべてのWebサイトで同じ頻度ではないことが知られています。その上で今回のhangoutで明らかになったのは、サイトによっては次のクロールまでに6ヶ月間も待たなければいけないということでした。

何ヶ月か前にnoindexタグ、nofollowタグをつけたんだけど、まだGoogleにインデックスされたままでいるんだけど…

こんな質問に対して、GoogleのJohn Muellerはこう回答しています…

この問題で難しいのは、私たちは常に同じ頻度でクロールしているわけではないということです。あるURLには毎日のようにクロールしているのに対して、他のURLには週1回、また別のURLには…もしかしたら半年に1回くらいかもしれません。

私たちは、サーバーに負荷をかけすぎないようにしながら適切にクロールできるように、バランスを意識しているのです。

あなたのWebサイトが大幅に更新された場合、その変更のほとんどは迅速に取り上げられるのですが、取り上げきれずに残されてしまうものがいくつかあります。

それが検索クエリに関することであれば、場合によっては半年間、変更が反映されずにそのまま検索結果に残ることがあります。

これは私たちにとっては普通のことです。あなたのWebサイトに技術的な問題があるからではありません。

もしGoogleに早くクロールして欲しければ…

Johnは、XMLサイトマップを更新してGoogleに最終更新日を知らせるようにおすすめしています。これがGoogleにとって、再クロールをするきっかけになるようです。

もし個別のURLに対しての再クロールを希望するなら、Google Search Consoleの「URL検査」というツールを使うこともできます。URLを入力して検査を実行した後、「インデックス登録をリクエスト」というボタンが表示されます。ここをクリックすれば、1〜2週間ほどでクロールしてくれるようです。

一方、多くのページで内容を変更しているなら、XMLサイトマップの再提出の方がスマートです。

再クロールについてのより詳しい情報は、Google Search Consoleのサポートページをご参照ください。

関連記事：
クローラビリティとインデクサビリティ｜検索順位upのためにどう対策する？
クロールバジェットとは…大規模サイトでないなら本当に最適化は不要？