クロールバジェットの最適化｜忘れ去られたSEO対策手法…大規模サイトじゃなければ本当に不要？

あなたはクロールバジェットという言葉を聞いた事がありますか？SEO対策をする上でとても重要な概念の1つなのですが、あまりにもみんな忙しいのか、けっこうスルーされているような気がします。

クロールバジェットとは何なのか、なぜクロールバジェットを最適化する必要があるのか、どうやって最適化するのか…この記事では、あなたが自分でクロールバジェットを最適化するのに必要な最低限の知識をまとめています…

クロールバジェットとは何か？

クロールバジェットとは、Googleなど検索エンジンのクローラーが特定のドメイン内のページを通過する頻度のことです。この頻度が増えれば増えるほど、あなたのWebサイトの情報がすばやく正確に検索エンジンに伝わります。その結果、あなたがコンテンツを更新した時に、検索ランキングに変化がおきるまでの期間が短縮されることになります。

とは言え、このクロールバジェットは具体的な数値として決まっているものではありません。例えば、Google側で「あなたのホームページに1日何回クローラーを飛ばす」とか、あなたの方で「1日で最低何回クローラーに来てもらえるように設定する」といったものではないのです。

検索エンジンそのものは、webサイト上の最新情報をくまなく把握したいと考えています。でも、そのためにクローラーを飛ばしすぎるとサーバーの許容範囲を超えてしまって、実際にユーザーがサイトにアクセスした時にコンテンツが適切に表示されなくなってしまう…といった問題が起こります。

そうならないように、クローラーの訪問回数には制限がかかっていて、ユーザーの検索に悪影響が出ないようにバランスよくクローラーが訪問するように設定されています。つまりクロールバジェットとは、サーバーに悪影響が出ない程度のクローラーの訪問可能回数と定義することもできます。

関連記事：Googleのクロール頻度ってどれくらい？

クロールバジェットの最適化とは何か？

クロールバジェットの最適化とは、限られたクロールバジェットを有効に使えるように、適切なページにクローラーが行けるようにすることです。逆の言い方をすると、クロールが不要なページにクローラーが行かないようにすることとも言えます。

どのwebサイトにも、検索エンジンにインデックスしてもらう必要のないページが必ずあります。例えばWordPressの管理画面ページ。普通にしてたら、こんなところにもクローラーはやって来ます。でも、管理画面のページにクローラーが多く来ても、僕たちとしては全然嬉しくありません。他にもプライバシーポリシーのページには、クロールバジェットを分配する必要はありません。お客さんがプライバシーポリシーを見ることはあっても、そのページで検索上位を狙う必要はないからです。

このようなコンテンツに無駄なクロールをしてもらうよりも、その分他のコンテンツページをクロールしてもらって、そちらをできるだけ早く検索結果画面に反映してもらいたいですよね。

それから、他のページへ301リダイレクトを設定した古いページ。Googleの評価を新しいページに引き継ぐために、ページ自体はしばらく残しておかなければなりませんが、もう使わない古いページにクローラーを集める必要はありません。

こうしたページにクローラーが飛んでしまう分、本来評価が必要なコンテンツページへクローラーが行きにくくなると、あなたの発信する情報がGoogleに適切に伝わらなくなってしまいます。クロールバジェットの最適化を行ってクロールの無駄を省くことで、あなたのwebサイトの価値をより早く、かつ適切に検索エンジンに評価してもらえるようになるのです。

なぜクロールバジェットを最適化する必要があるのか？

でも実は、クロールバジェットの最適化をスルーする人、SEO対策の専門家の中にもいたりします。彼らがクロールバジェットの最適化を無視する主な理由は、Googleが度々表明しているあの言葉…

クロールの回数そのものはランキングファクターではない

by Google

この「ランキングファクターではない」という言葉を聞いて…

やっても検索順位に関係ないなら、やっても意味ないじゃん！

by 某webサイト管理者

と、自分の仕事ではないとばかりにさっさと手を引いてしまうのです。この考え方は、専門家としては少々短絡的に感じますが…実はGoogle内部にも、クロールバジェットをあまり気にする必要はないと主張する人がいます。

実際Googleのクローラーは、何百万ページもあるような大規模サイトでない限り、すべてのページをクロールする能力があることが知られています。その意味では、「webサイト開設当初からクロールバジェットについて考えすぎる必要がない」という意見も理にかなっています。

でも、この「クロールする能力がある」とは「小規模サイトなら必ず全ページをクロールする」ことを意味するわけではありません。例えば、クローラビリティの乏しいサイト構造をしていれば、クロールバジェットを使い切らなくても、クローラーは途中であなたのサイトを離れていってしまいます。

また、webサイトにSEO対策を施す本当の意味は、単にターゲットキーワードで検索順位を上げることではありません。お客さんが欲している情報を、検索エンジンを介して適切に提供することです。そのために役立つことは、どんなに小さなことでもやらなければなりません。

お客さんがGoogleの検索結果画面を見て、あなたのサイトなら良い情報が得られそうだと思ってクリックします。でも、出てきたコンテンツがGoogleの把握している情報と違ったら、お客さんはガッカリするでしょうね。そんなことが繰り返されると、将来お客さんがあなたのページを検索1ページ目に見つけても、あなたのページではなくて他のページをクリックするようになってしまいます。

実際、クロールバジェットの最適化によるコンバージョン率への影響は、GoogleのJohn Muellerもその可能性を認めています。ならば、まだまだあなたのサイトが小さくても、やっておく価値がないとは言い切れないのではないでしょうか？

クロールバジェットはどう最適化する？

では、クロールバジェットを最適化するには、どうしたら良いでしょうか？

Robot.txtファイルで適切にクローラーを誘導する

これが一番簡単かつ最も重要な方法です。robot.txtファイルの作成は自分で作ることもできますし、YoastのようなSEO対策用プラグインを使って設定することもできます。

Yoast SEOをインストール後、管理画面を開いて「SEO >> ツール」と選択すると、上の画面のように「ファイルエディタ」という項目が出てきます。ここをクリック…

するとこのように、robots.txtのファイル作成フォームへ移動するボタンが出てきます。実際の作成方法については別記事でお伝えすることにします…

リダイレクトの数をできるだけ少なくする

コンテンツが増えてwebサイトが大きくなっていけば、リダイレクトの数が増えていくのも自然な流れです。しかし、クロールバジェットの浪費を避けるためには、リダイレクトの数をできるだけ少なくすることも大切です。たった1つや2つのリダイレクトで影響が出るようなものではありませんが、リダイレクトの調整はwebサイトが大きく育つほど困難になるので、まだまだコンテンツが少ないうちからリダイレクトの数を減らす努力をしていくことも重要です。

特に、あるページから別のページへ飛ぶのにリダイレクトを5回以上繰り返すと、Googleのクローラーはそれ以上のクロールをやめてしまう設定になっているようなので注意しましょう。

内部リンクが正しく貼れているかをチェックする

クロールバジェットの無駄遣いを省く意味では、内部リンクのチェックも避けては通れない仕事です。というのは、404ページや410ページもクロールバジェットを消費するからです。

リンク切れの状態を放置しておくと、お客さんにとってのユーザーエクスペリエンスの観点でもよくありません。Screaming FrogやBroken Link Checkerなどのツールを使って定期的にチェックすることをお勧めします。

XMLサイトマップを更新する

検索エンジンのクローラーは、あなたが提出するXMLサイトマップの情報に基づいてクロールするページを決めます。正しい情報が提出されていればクローラーの大きな助けになる一方、間違った情報を伝えていればクロールバジェットの浪費につながります。

もしあなたがYoast SEOやXML site mapなどのプラグインを使っているなら、すべてプラグインにおまかせです。XMLサイトマップの更新もいちいち面倒なので、これらのSEO対策用のプラグインに自動でやってしまうのがおすすめです。