クローラビリティとインデクサビリティ：検索順位改善のためには、なぜこれらから対策しなければならないのか？

あなたのWebサイトを早くGoogleの検索順位に表示させたい、または順位を改善したいと考えた場合、真っ先に対策しなければならないことは何でしょうか？

おそらくあなたは、ホームページ作成業者や契約しているSEO対策の会社に

1. コンテンツを作り続けること
2. 他のWebサイトからリンクをもらうこと

の重要性を聞いたことがあると思います。もちろんそれらは正解で、まったく異論をはさむ余地がありません。ただ「真っ先に」となると、答えはちょっと違います…

クローラビリティとインデクサビリティ…この2つの言葉の意味を知っている！という方は少ないかもしれません。でも、これらをおそろかにしてしまうと、どんなに優れたコンテンツを持っていても検索トップ10入りなど夢のまた夢になってしまう…それくらい重要なことなのです。

では、この2つは一体何なのか？という話になりますが…それを理解してもらうために、まずはGoogleがどのようにコンテンツを認識しているかを説明します。

Googleも他の検索エンジンも、新しく作成されたコンテンツを認識するためにクローラーと呼ばれるアプリケーション（bot）を使っています。クローラーは「新しいコンテンツを見つけてインデックスすること」に特化されていて、クローラーがあることで、検索エンジンが人間と同じようにコンテンツの内容を評価できるようになっています。もう少し具体的にいうと…

1. クローラーがWebサイト上の新コンテンツにアクセスする
2. クローラーが新コンテンツの内容を検索エンジンに持ち帰る
3. 検索エンジンが新コンテンツの内容を分析・整理する

この3ステップで、検索エンジンは大量のデータをデータベースに整理します。その際、僕たちが日常生活で行うファイリングのように、検索エンジンは情報を引き出しやすくするためにデータを索引化してデータベースに格納します。これをインデックスと呼んでいます。

つまり、クローラビリティもインデクサビリティも、検索エンジンがインターネット上の情報を分類して、お客さんがキーワードで検索したときに適切に表示させるために必要というわけです。より詳しくはGoogleが公開している情報をご覧ください。

というわけで、ここから本題。クローラビリティとインデクサビリティの意味をそれぞれ説明していきます…

クローラビリティとは何か？

クローラビリティとは、クローラーのWebサイトへのアクセス・クロールのしやすさと定義されます。クローラビリティが高ければ、クローラーが頻繁にそのWebサイトを訪問できるようになり、コンテンツの内容を把握するチャンスが増えることを意味します。

関連記事：Googleのクロール頻度ってどれくらい？

これに対して…

インデクサビリティとは何か？

インデクサビリティとは、検索エンジンによるコンテンツ内容の分析・インデックスのしやすさと定義されます。インデクサビリティが高ければ、検索エンジンがコンテンツの内容をきちんと把握しやすくなり、特定のキーワードで検索されたときに表示されやすくなります。

クローラビリティとインデクサビリティはまったくの別物です

誤解の多いところですが、クロールの頻度が高ければ検索順位が高くなるとか、検索順位に表示されるまでの時間が早くなるとか、必ずしもそういうわけではありません。

いくらクロールの回数が多くても、検索エンジンがコンテンツの内容を分析できなければ、検索順位に結果が反映されることはありません。例えば、せっかくクローラーが来てくれても、肝心のコンテンツが…

あかえぶわためるかぅれぶ…

という調子だったら、検索エンジンがきちんとインデックスできるはずがありません。まあ、この例は普通にコンテンツを作っていればまずあり得ないことですが…お客さんだけでなく検索エンジンにも内容を正しく把握してもらうために、考えて文章を書く必要があります。そうでなくても「クロール回数が多くてもインデックスが遅くなることもある」ということは理解しておいてください。

逆にインデクサビリティが高くても、そのコンテンツにクローラーがまったく来なければ意味がなく、同様に検索順位には反映されません。

クローラビリティとインデクサビリティに影響を与える要素

クローラビリティとインデクサビリティの改善がSEO対策に重要なことは、ここまででおわかりいただけたと思います。では、どんなことがこの2つに影響を与えるのでしょうか？

1. Webサイトの内部構造

あなたのWebサイトの内部構造が複雑だと、クローラーが特定のページをおとずれるのが難しくなってしまいます。

例をあげると、ホームページから何回もリンクを経由しないとたどり着けないページ。僕たち人間と同じように、ひたすらリンクをクリックしないとたどり着けないページには、クローラーもなかなか訪れてくれません。

あとはリダイレクトを繰り返すページ。Googleは5回以上リダイレクトが繰り返されると、そこから先のクロールを止めてしまうそうです。

2. Webサイト内部のリンク構造

SEO対策で外部からのリンクをもらうことも重要ですが、Webサイト内部でリンク構造を整えることも重要です。

クローラーも人間と同じく、サイト内のリンクをたどって他のページに行くので、全体的にリンクが張りめぐらされているサイトではクローラーも自由にページ間を行き来して、多くの情報を検索エンジンに持ち帰ります。

一方、リンク構造が不十分な場合、クロールされないページが出てきたり、せっかくクローラーが来てくれてもすぐに帰ってしまったりして、なかなかインデックスが進まなくなってしまいます。

中には、リンクを貼り忘れて他のページからたどり着けないページが見つかることもあります。もしこんなページがあなたのWebサイトにあったなら、早急に対策を打つことをおすすめします。

3. noindexタグ

意外な落とし穴なのが、このnoindexタグ。これは、あなたの方でインデックスしてほしくないページを指定してタグ付けするものですが、あなたが気づかないうちにこのタグをページに貼り付けてしまっていることが結構あるのです。

あなたのコンテンツが検索結果になかなか出てこないようなら、一度は間違ってnoindexタグをつけていないかどうかチェックしましょう。

4. 壊れたページやリンクミス

クローラーが順調にサイト内をクロールしていて、ある時壊れたページにたどり着いたり、あるいはリンクの設定ミスで本来ページの存在しないURLに誘導されてしまったり…この時点でクローラーの情報収集は終わってしまいます。

5. サーバーのエラーなど

もちろ、Webサイト内の話だけでなくて、その情報を保存するサーバーに関連した各種トラブルでも、クローラビリティに悪影響が出ます。

クローラビリティとインデクサビリティを改善する方法

あなたがまずやらなければいけないことは、上にあげたようなクロールを妨げる要素がないかどうかを確認することです。これらの項目が改善されるだけでもクロール頻度が上がり、その分検索エンジンにインデックスされる可能性も高まることになります。

その上で、さらにクローラビリティとインデクサビリティを改善する方法をいくつかご紹介すると…

1. XMLサイトマップを提出する

XMLサイトマップとは、Webサイト全体のページ構成を含んだ小さなファイルのことです。このファイルにはサイト内のすべてのページへのリンクが含まれていて、Google Search Consoleを介して情報を検索エンジンに送信することができます。

あなたが新コンテンツを作成・公開したら、XMLサイトマップを通じてGoogleに更新通知を届けましょう。Google XML Sitemapsというプラグイン導入でXMLサイトマップの作成・更新は一発なので、これをやらない手はありません。

2. 内部リンクを強化する

サイト内のリンク構造をさらに強化することで、クローラーがサイト内の各ページをより自由に行き来できるようになります。多くのリンクが集まるページには、それだけクローラーがやってくる頻度もそれだけ高くなります。

これを利用して、あなたがインデックスを早めたいページにリンクを集めてみたらいかがでしょう。多くのページからクローラーがやって来ることになり、そのページのインデックスの可能性が高まります。

3. 定期的にコンテンツを更新する

新しくコンテンツが作成された時、Googleに更新通知が届いてクロールが始まるきっかけになります。ということは、コンテンツ作成頻度が高いサイトには、それだけ多くクローラーがやって来ることになります。

その上、内部リンク構造が整っていれば、新コンテンツを経由して他の既存コンテンツにもクローラーが情報を集めに行ってくれます。その分インデックスも早まり、検索結果に反映されるスピードも早まるのです。

4. 重複コンテンツを除く

クローラーがあなたのサイト内を回っていて、内容がほとんど同じページを2つ以上見つけたとしたら、どのページをインデックスすれば良いでしょう？人間と同じように、クローラーもこのような状況では適切にコンテンツの情報を伝えられなくなってしまいます。

ページ間で一文たりとも重複があってはいけない！というわけではありませんが、あまりにもコンテンツの内容が似ているページがあれば、1つのページに内容をまとめたり、片方のページにnoindexタグをつけたりして、クローラーにインデックスが必要なページを正しく伝えるようにしなければなりません。

5. ページの読み込みスピードを改善する

どんなに内部リンク構造が優れていても、一旦あなたのWebサイトに来てくれたクローラーが無制限にサイト内をクロールしまくるわけではありません。検索エンジンの方でクローラーに制限をかけており（クロールバジェットと呼ばれます）、その制限を超えるとクローラーはそのサイトのクロールを停止してしまいます。

このクロールバジェットを規定する要素の1つにページの読み込みスピードが含まれていると、専門家の間で考えられています。僕たちもスマホでネットサーフィンしていて、読み込みスピードの遅いページを途中であきらめてしまうように、クローラーもなかなかデータを読み込めないページに見切りをつけて、別のサイトに行ってしまうのです。

関連記事：Googleが導入したスピードアップデートに関する2つの誤解

ページの読み込み速度を改善するためには、画像ファイルのデータを縮小する、ページをAMP化するなどの対応策があります。対策が終わったら、PageSpeed Insightsなどで読み込みスピードのチェックを行いましょう。