インデックスとクロール：ページが検索結果に載るまで｜SEOの教科書 第6回

関門1・2：発見とクロールを助ける

Googleは、主にリンクをたどってURLを発見し、XMLサイトマップからもURLを知ることができます。第3回で学んだとおり、内部リンクで孤立したページをなくすことが、発見されるための基本です。そのうえで、次の点を確認しましょう。

• XMLサイトマップを用意し、Search Consoleから送信する：新しいページや更新したページを知らせる手段になります。WordPressなど多くのCMSでは、自動で作成する機能があります。
• サーバーが安定して応答しているか：ページを取得しようとしたときにサーバーがエラーを返すと、そのページはクロールできません。エラーが続いていないかを確認しておきましょう。
• ログインが必要なページは検索結果に載らない：会員限定のページなど、ログインしないと見られないページは、Googlebotも中身を見られません。

よくある誤解：「クロールバジェットを気にしないといけない」

Googlebotが1つのサイトをどれだけクロールするかには上限があり、これをクロールバジェットと呼びます。SEOの情報でよく取り上げられる言葉ですが、Googleは、クロールバジェットの管理が必要になるのは主に非常に大規模なサイト（目安として、重複のないページが100万以上あって週1回程度更新される大規模サイトや、1万以上あって毎日更新される中規模以上のサイト）だと説明しています。Googleは、そうでないサイトは、サイトマップを最新に保ち、ページのインデックス登録レポートを定期的に確認すれば通常は十分だとしています。数百〜数千ページ程度の一般的な企業サイトやメディアでは、クロールバジェットを心配するより、リンク構造や内容の質を整える方がずっと効果的です。

3つの道具の違い：robots.txt・noindex・canonical

技術面のSEOで特に混同されやすいのが、次の3つです。それぞれ「何をコントロールするのか」が違います。

最もよくある失敗は、「検索結果に出したくないページを、robots.txtでブロックする」ことです。robots.txtはクロールを止めるだけなので、Googlebotはページの中身を見られません。その結果、noindexの指示も読めず、ほかのページからリンクされていればURLだけが検索結果に出てしまうことがあります。検索結果に出したくないページには、クロールは許可したうえでnoindexを使う、と覚えておきましょう。

関門3：JavaScriptと「見えている中身」

最近のWebサイトは、JavaScriptを使って画面の中身を表示するものが増えています。Googleは、Googlebotがページを取得したあと、JavaScriptを実行して表示された状態（レンダリング後）のページも読み取ると説明しています。ただし、作り方によっては中身がうまく読み取れない場合もあります。

確認の方法はシンプルです。Search ConsoleのURL検査ツールで、ページを指定して、Googlebotから見えたページの状態を確かめます。本文や見出し、リンクが表示されていれば、まずは問題ありません。大事な本文やリンクがJavaScriptの実行後にしか現れない作りの場合は、制作会社と相談して、最初に返すHTMLに中身を含める方法（サーバー側での表示など）を検討するのが安心です。

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

関門4：インデックス登録と「代表ページ」

Googleは、内容がほとんど同じページが複数あると、それらを1つのグループにまとめ、その中から代表となるページ（正規ページ）を選んで検索結果に表示します。たとえば次のようなURLは、人から見ると同じページでも、検索エンジンからは別のURLとして扱われます。

• http://example.com/ と https://example.com/（httpとhttpsの違い）
• https://example.com/ と https://www.example.com/（wwwの有無）
• https://example.com/dresses/ と https://example.com/dresses/?gclid=ABCD（広告の計測用などのパラメータ）

こうした重複は、どのURLを代表にするかを統一しておくと整理できます。サイト全体の表記の統一（http→https、wwwの有無）は301リダイレクト（恒久的な転送）で行い、並び替えなどの重複はcanonicalで代表を示すのが一般的です。代表をはっきりさせることで、評価が分散せず、意図したURLが検索結果に表示されやすくなります。

「インデックスされない」のは技術の問題とは限らない

技術的には何も問題がないのに、インデックスされないページもあります。Googleは、すべてのページをインデックスするわけではなく、品質や重複の状況などを見て判断しています。ほかのページとほとんど同じ内容のページや、中身の薄いページは、技術的に正しくても登録されないことがあります。この場合に必要なのは、技術の修正ではなく、第4回・第5回で学んだ内容の改善です。

実務ではこう使う：Search Consoleで原因を切り分ける

「記事が検索に出てこない」と感じたら、Search Consoleで次の順番に確かめると、原因を効率よく切り分けられます。

1. URL検査ツールで、そのURLの状態を見る：「URL は Google に登録されています」と出れば、インデックスには入っています。その場合は順位や内容の問題なので、第2回・第4回・第5回に戻って見直します。
2. 登録されていない場合、理由を見る：URL検査ツールやページのインデックス登録レポートには、登録されていない理由が表示されます。代表的なものと対応は次のとおりです。
   • 「noindex タグによって除外されました」：意図したものか確認し、意図しないなら設定を外す
   • robots.txtによるブロックを示す表示：robots.txtの記述を見直す
   • 重複や代替ページ（正規ページが別にある）を示す表示：どのページが代表に選ばれたかを確認し、canonicalや内部リンク、内容の違いを見直す
   • 「クロール済み – インデックス未登録」：クロールはされたが登録が見送られた状態。内容の独自性や品質、ほかのページとの重複を見直す
   • 「検出 – インデックス未登録」：URLは知られているが、まだクロールされていない状態。内部リンクを増やす、サイト全体の品質を上げる、などで改善を図る
3. 修正したらインデックス登録をリクエストする：URL検査ツールから登録をリクエストできます。ただし、リクエストしても登録が保証されるわけではなく、同じURLを何度もリクエストしても早くはなりません。
4. サイト全体の傾向を定期的に見る：ページのインデックス登録レポートで、登録されていないページが急に増えていないかを月に1回は確認します。サイトのリニューアルや設定変更の直後は特に注意が必要です。

こうした技術的な点検を自社で回すのが難しい場合は、テクニカルSEOに強い会社やツールを使う方法もあります。SEO会社のおすすめ比較やSEOツールのおすすめ比較で、技術面の対応範囲も比べています。

もう一歩深く：サイトのリニューアルは技術SEOの最大の山場

サイトのリニューアルやドメインの変更では、URLが大量に変わり、インデックスが大きく揺れることがあります。古いURLから新しいURLへの301リダイレクトを1対1で設定する、新しいサイトでnoindexが外れているかを公開前に確認する、サイトマップを新しいURLで送り直す、といった準備を怠ると、検索流入が大きく落ち込むこともあります。リニューアルを計画するときは、デザインだけでなく「URLの対応表」を必ず作ることを、制作会社との打ち合わせの議題に入れておきましょう。

この回のまとめ

• ページが検索結果に載るまでには「発見・クロール・レンダリング・インデックス登録」の関門がある。
• 順位を気にする前に、まずインデックスに入っているかを確かめる。
• robots.txtはクロール、noindexはインデックス登録、canonicalは代表ページを示すシグナル。混同しない。
• 検索結果に出したくないページは、クロールを許可したうえでnoindexを使う。
• Search ConsoleのURL検査ツールとページのインデックス登録レポートで、原因を切り分けて直す。

確認テスト

次回予告

第7回は「表示速度・スマホ対応・構造化データ」です。ページ エクスペリエンス（ページの使いやすさ）の中心にあるCore Web Vitalsの見方と、検索結果での見え方を豊かにする構造化データの基本を、優先順位とあわせて解説します。

参考資料

• Google 検索セントラル「Google 検索の仕組みに関する詳細ガイド」 https://developers.google.com/search/docs/basics/how-search-works?hl=JA（2026年11月12日確認）
• Google 検索セントラル「noindex を使用してコンテンツをインデックスから除外する」 https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=ja（2026年11月12日確認）
• Google 検索セントラル「rel=”canonical” などを利用して正規 URL を指定する方法」 https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls?hl=ja（2026年11月12日確認）
• Google 検索セントラル「大規模なサイト所有者向けのクロール バジェット管理ガイド」 https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget?hl=ja（2026年11月12日確認）
• Google 検索セントラル「URL の再クロールを Google にリクエストする」 https://developers.google.cn/search/docs/guides/submit-URLs?hl=ja（2026年11月12日確認）
• Google 検索セントラル「Google 検索結果のタイトルリンク（見出し）の変更」 https://developers.google.com/search/docs/advanced/appearance/title-link?hl=ja（2026年11月12日確認）
• SEOcrawl「『クロール済み – インデックス未登録』とは？意味と修正方法」（Search Console の表示名の確認に使用） https://seocrawl.ai/ja/blog/google-search-console-crawled-currently-not-indexed（2026年11月12日確認）