あなたが記事やタイトル、メタディスクリプションを更新したり、noindexタグやnofollowタグをつけたりしても、その変更がGoogleに反映されるまでしばらくかかります。Googleのクローラーがやって来て、そのページを新しくインデックスするまで待たなければなりません。
では、Googleはどのくらいの頻度でページのクロールにやって来るかというと…
2018年10月のEnglish Google Webmaster office-hours hangoutで、クロールの頻度についての話題が上がりました。一般的な知識としては、クロール頻度はURLごとに異なる…つまり、すべてのWebサイトで同じ頻度ではないことが知られています。その上で今回のhangoutで明らかになったのは、サイトによっては次のクロールまでに6ヶ月間も待たなければいけないということでした。
何ヶ月か前にnoindexタグ、nofollowタグをつけたんだけど、まだGoogleにインデックスされたままでいるんだけど…
こんな質問に対して、GoogleのJohn Muellerはこう回答しています…
この問題で難しいのは、私たちは常に同じ頻度でクロールしているわけではないということです。あるURLには毎日のようにクロールしているのに対して、他のURLには週1回、また別のURLには…もしかしたら半年に1回くらいかもしれません。
私たちは、サーバーに負荷をかけすぎないようにしながら適切にクロールできるように、バランスを意識しているのです。
あなたのWebサイトが大幅に更新された場合、その変更のほとんどは迅速に取り上げられるのですが、取り上げきれずに残されてしまうものがいくつかあります。
それが検索クエリに関することであれば、場合によっては半年間、変更が反映されずにそのまま検索結果に残ることがあります。
これは私たちにとっては普通のことです。あなたのWebサイトに技術的な問題があるからではありません。
Johnは、XMLサイトマップを更新してGoogleに最終更新日を知らせるようにおすすめしています。これがGoogleにとって、再クロールをするきっかけになるようです。
もし個別のURLに対しての再クロールを希望するなら、Google Search Consoleの「URL検査」というツールを使うこともできます。URLを入力して検査を実行した後、「インデックス登録をリクエスト」というボタンが表示されます。ここをクリックすれば、1〜2週間ほどでクロールしてくれるようです。
一方、多くのページで内容を変更しているなら、XMLサイトマップの再提出の方がスマートです。
再クロールについてのより詳しい情報は、Google Search Consoleのサポートページをご参照ください。
関連記事：
クローラビリティとインデクサビリティ｜検索順位upのためにどう対策する？
クロールバジェットとは…大規模サイトでないなら本当に最適化は不要？
AWAI認定コピーライター
SEO contents institute認定コピーライター
何事も“超一流の専門家から学ぶ”をポリシーとしており、コピーライティング業界で世界最高の権威である全米コピーライター協会(AWAI)でライティングの基礎を習得後、SEOコピーライティングのパイオニアHeather-Lloyd Martin、コンテンツマーケティングの世界的第一人者Brian ClarkにWebコピーライティングを学ぶ。
さらにAWAIでビジネス用Webサイト作成スキルを習得、知識ゼロの状態から自社サイトSuper Clear Contentsを立ち上げる。その経験とインターネット業界の動向をふまえて、個人事業主や副業サラリーマンに向けて最新のビジネス用Webサイト構築方法を提供している。