はじめに
ページを公開したからといって、検索エンジンがそれをインデックスするとは限りません。
これはSEOにおいて最ももどかしい要素の一つです。ページを作成し、サイトに追加し、Search Consoleに送信したとしても、あとは待つしかありません。数日が経過し、時には数週間経っても、そのページはGoogleに表示されないままです。
問題は、インデックスが単一のステップではないことにあります。検索エンジンはURLを発見し、クロールし、レンダリングし、理解し、保存する価値があるかを判断し、最後に検索結果に表示すべきかを決める必要があります。
このプロセスのどこか一つでも滞ると、ページはインデックスされない可能性があります。
本ガイドでは、ページがインデックスされない最も一般的な理由、問題の診断方法、そして最初に取り組むべき修正内容について解説します。
「インデックス未登録」とはどういう意味か?
ページがインデックス未登録(Not Indexed)となるのは、検索エンジンがそのURLを認識していても検索可能なインデックスに追加していない場合、あるいはURLを全く発見できていない場合のいずれかです。
よく混同されがちですが、これには異なる状況が含まれます。
- 検索エンジンがURLを発見していない。
- 検索エンジンがURLを発見したが、クロールしていない。
- 検索エンジンがURLをクロールしたが、インデックスしないと判断した。
- 以前はインデックスされていたが、後に削除された。
- ページがブロックされている、リダイレクトされている、正規化(canonical)が他を向いている、あるいはnoindexが指定されている。
状況に応じてそれぞれ異なる修正が必要です。
クロールとインデックスの違い
クロールとインデックスは同じものではありません。
クロールとは、検索エンジンがページを訪問し、コンテンツを取得することです。
インデックスとは、検索エンジンが検索結果に表示させるために、そのページをインデックスに保存することを決定することです。
ページはクロールされてもインデックスされないことがあり、これはよくあることです。
例えば、Googleはページをクロールした際に、次のように判断することがあります。
- コンテンツが不足している。
- ページが別のURLの重複である。
- canonicalタグが別の場所を指している。
- ページが十分な価値を提供していない。
- ページがインデックスからブロックされている。
URLを送信するだけではプロセスの一部に過ぎません。ページには、インデックスされるだけの価値が求められます。
検索エンジンがページを発見する方法
検索エンジンは、いくつかの方法でページを発見します。
- サイト内の他ページからの内部リンク
- XMLサイトマップ
- 外部サイトからの外部リンク
- Search Consoleを通じた手動送信
- APIおよび通知システム
- 既知のURLパターンのクロール
ページがどこからもリンクされておらず、サイトマップにも記載がなく、送信もされていない場合、発見されるまで非常に長い時間がかかる可能性があります。
発見は最初のハードルであり、その後に品質と技術的な準備が続きます。
1. ページがまだ発見されていない
問題が単純な場合もあります。検索エンジンがそのページの存在を知らないのです。
これは多くの場合、以下のようなケースで発生します。
- 新しいウェブサイト
- 新しいブログ投稿
- ナビゲーションからリンクされていないランディングページ
- カタログの奥深くに埋もれた商品ページ
- JavaScriptで作成されたがサイトマップに含まれていないページ
- 内部リンクがない孤立ページ
解決方法:
- URLをXMLサイトマップに追加する。
- 関連する既存ページからそのページへリンクを貼る。
- 適切な発見ワークフローを通じてURLを送信する。
- そのページがサイト構造に含まれていることを確認する。
重要なページであるなら、隠してはいけません。
2. robots.txtによってブロックされている
robots.txtは、サイトのどの部分にクローラーがアクセスすべきでないかを指示します。
ページがrobots.txtによってブロックされていると、検索エンジンが適切にクロールできない可能性があります。
例:
User-agent: *
Disallow: /blog/
これは、クローラーが /blog/ 以下のページへアクセスすることをブロックします。
解決方法:
-
https://yourdomain.com/robots.txtを確認する。 - 重要なセクションがブロックされていないことを確認する。
- Google Search Consoleでページをテストする。
- 意図せず設定されたDisallowルールを削除する。
robots.txtでインデックスを管理するのは、その結果を理解している場合を除き、避けてください。クロールがブロックされると、検索エンジンがページ上の重要なインデックス信号を読み取れなくなる可能性があります。
3. ページにnoindexタグがある
noindexディレクティブは、検索エンジンに対してページをインデックスしないよう伝えます。
メタタグとして指定されることもあります:
<meta name="robots" content="noindex">
またはHTTPヘッダーとして指定されます。
これは、非公開ページや重複ページ、価値の低いページには有効ですが、インデックスさせたいページにある場合は深刻な問題です。
解決方法:
- ページのソースを確認する。
- SEOプラグインの設定を確認する。
- CMSのページ表示設定を確認する。
- 検索結果に表示すべきページからnoindexを削除する。
noindexタグが付いたページでも発見やクロールはされますが、インデックスされるべきではありません。
4. canonicalタグが別の場所を向いている
canonicalタグは、ページの推奨バージョンとなるURLを検索エンジンに伝えます。
例:
<link rel="canonical" href="https://example.com/main-page">
ページに別のURLを指すcanonicalタグがある場合、検索エンジンはそのcanonical先のURLを代わりにインデックスする可能性があります。
これが必ずしも間違いというわけではありません。重複ページや類似ページには有用です。しかし、すべてのページがホームページを指していたり、重要なページが間違ったURLを指していたりすると、インデックスがうまくいきません。
解決方法:
- ページ上のcanonicalタグを確認する。
- 正しいバージョンを指していることを確認する。
- 意図しない自己参照canonicalのミスを避ける。
- 関連性のないページに独自のページを正規化(canonical化)しない。
ページをインデックスさせたい場合は、通常、自身を指す自己参照canonicalタグが必要です。
5. ページがエラーステータスを返している
検索エンジンはページに正常にアクセスできる必要があります。
URLがエラーを返す場合、インデックスされる可能性は低いです。
一般的なステータスの問題には以下があります:
- 404 Not Found
- 410 Gone
- 500 サーバーエラー
- 503 Unavailable
- リダイレクトループ
- リソースのブロック
解決方法:
- HTTPステータスコードを確認する。
- 壊れたルートを修正する。
- サーバーエラーを解決する。
- リダイレクトチェーンを避ける。
- 最終的な宛先が200を返すことを確認する。
技術的な失敗があるページは、たとえコンテンツが良くてもインデックスされるのに苦労します。
6. コンテンツが薄い、または価値が低い
技術的には問題なくても、コンテンツの強度が不十分な場合があります。
コンテンツが薄いページには、以下のような特徴があります:
- 独自のコンテンツが非常に少ない
- ありふれた文章(コピー)
- 目的が不明確
- 有益な回答がない
- 独自の価値がない
- メーカーの説明文をそのまま転載している
- 中身のないカテゴリーページ
検索エンジンは、見つけたすべてのページをインデックスする必要はありません。ページがほとんど価値を提供していない場合、クロールはされてもインデックスされない可能性があります。
解決方法:
- 有益で独自の情報を追加する。
- ユーザーの真の問いに答える。
- 関連する具体例を含める。
- 内部リンクを改善する。
- 構造化されたセクションを追加する。
- 弱いページを削除または統合する。
コンテンツが薄いページを何度も送信しても問題は解決しません。まずはページを改善してください。
7. 重複コンテンツ
重複コンテンツは、ページがインデックスされないもう一つの一般的な理由です。
複数のURLにほぼ同じコンテンツが含まれている場合、検索エンジンは一つを選択し、他を無視することがあります。
よくある例:
- 製品のバリエーション
- フィルタリングされたコレクションページ
- 印刷用ページ
- テキストがほぼ同一の地域別ページ
- コピーされたサプライヤーの説明文
- URLパラメーターが生成する重複
解決方法:
- canonicalタグを正しく使用する。
- 重複ページを集約する。
- 独立させるべきページには独自のコンテンツを追加する。
- 適切な場合は、価値の低いパラメーターページをブロックまたはnoindexにする。
- 推奨バージョンへの内部リンクを改善する。
重複ページが常にペナルティになるわけではありません。多くの場合、検索エンジンは単にすべてのバージョンをインデックスしないことを選択しているだけです。
8. 不十分な内部リンク
内部リンクは、検索エンジンがページを発見し、その重要性を理解するのに役立ちます。
そのページへの内部リンクがほとんどない場合、検索エンジンはそのページの重要性が低いとみなす可能性があります。
これは特に以下のようなページで見られます:
- 古いブログ投稿
- ランディングページ
- 新しいサービスページ
- 階層の深い商品ページ
- 季節限定ページ
- メインナビゲーション以外で作成されたページ
解決方法:
- 関連する既存ページからそのページへリンクを貼る。
- カテゴリーページやハブページからリンクを追加する。
- 説明的なアンカーテキストを使用する。
- 適切な場合は、有益なナビゲーションにそのページを含める。
- すでにインデックスされており、パフォーマンスの良いページからリンクする。
内部リンクは、発見を改善する最も簡単な方法の一つです。
9. 孤立ページ
孤立ページ(オーファンページ)とは、内部リンクが一つも貼られていないページのことです。
サイトマップや外部リンクを通じて発見されることはありますが、検索エンジンにとって理解や優先順位付けが困難です。
ページがランク付けされるべきほど重要なら、通常はサイトの他の部分と繋がっている必要があります。
解決方法:
- クロールツールやサイト監査を使用して孤立ページを見つける。
- 関連するページから内部リンクを追加する。
- 重要なページをサイトマップに含める。
- 関連するコンテンツをハブにまとめる。
- 目的のない孤立ページを削除する。
内部リンクのないページは、重要性に関する信号が弱くなります。
10. サイト権威性の低さ
新設サイトや権威性の低いサイトは、ページがインデックスされるまでに時間がかかることがよくあります。
検索エンジンには限られたクロールリソースしかありません。信頼性が高く、アクティブで権威のあるサイトを優先的にクロールする傾向があります。
サイトが新しく、被リンクが少なく、内部構造が弱く、コンテンツの履歴がほとんどない場合、インデックスは遅くなる可能性があります。
改善方法:
- 有益なコンテンツを一貫して公開する。
- 関連ページ間で内部リンクを構築する。
- 関連性の高い外部リンクを獲得する。
- サイトマップを整理しておく。
- 質の低いページを大量に公開することを避ける。
権威性とは、単なるリンク数だけではありません。信頼性、有用性、そして一貫性も関わります。
11. クロールバジェットの問題
クロールバジェットとは、検索エンジンがサイトのクロールに費やすリソースの量です。
小規模なサイトではこれが主な問題になることはありませんが、大規模なECサイト、ディレクトリサイト、ニュースサイト、プログラムによるSEOサイトでは重要になることがあります。
検索エンジンが以下のような不要な場所に時間を割いていると、クロールバジェットの問題が発生します:
- 重複したURL
- フィルターページ
- 検索結果ページ
- 無限に続くURLパラメーター
- リダイレクトチェーン
- 壊れたページ
- コンテンツが薄いページ
解決方法:
- 重複するURLパターンを整理する。
- canonicalタグを改善する。
- 価値の低いURLをサイトマップから削除する。
- リダイレクトチェーンを修正する。
- 価値の低いセクションを慎重にブロックまたはnoindexにする。
- サイトの速度とサーバーの信頼性を改善する。
目的は、重要なページにクローラーがより多くの時間を割けるようにすることです。
12. JavaScriptレンダリングの問題
コンテンツのレンダリングをJavaScriptに大きく依存しているページがあります。
検索エンジンはJavaScriptを処理できますが、通常のHTMLをクロールするよりも遅く、複雑になる可能性があります。
重要なコンテンツ、リンク、タイトル、構造化データがJavaScriptの実行後にしか表示されない場合、発見やインデックスに影響が出る可能性があります。
解決方法:
- 可能な限り、サーバー側でレンダリングされたHTMLで重要なコンテンツを利用できるようにする。
- レンダリングされたHTMLを確認する。
- Search ConsoleのURL検査ツールでテストする。
- 重要なリンクをスクリプト内に隠さない。
- 構造化データが存在し、有効であることを確認する。
ユーザーとクローラーが同じ重要なコンテンツを見られない場合、インデックスは信頼できないものになります。
13. 最近公開されたページ
何も問題がないこともあります。単にページが新しいだけです。
検索エンジンはすべてのページを即座にインデックスするわけではありません。強力なページであっても、表示されるまでに時間がかかることがあります。
インデックスの速度は以下に依存します:
- サイトの権威性
- 内部リンク
- サイトマップの鮮度
- クロール頻度
- ページの品質
- 技術的な健全性
- 検索エンジンの需要
対処法:
- ページがクロール可能であることを確認する。
- 内部リンクを追加する。
- サイトマップに含める。
- 通常のワークフローを通じて送信する。
- 時間をかけて様子を見る。
数分おきに再送信し続けないでください。まずは現実的な問題を修正しましょう。
14. ソフト404ページ
ソフト404とは、ページが200ステータスコードを返しているにもかかわらず、内容が空、または欠落しているように見える状態です。
例:
- 商品がない商品ページ
- アイテムのないカテゴリーページ
- 「コンテンツが見つかりません」と書かれた薄いページ
- ほとんど有用な情報がないテンプレートページ
検索エンジンは、サーバーが「存在している」と返していても、これらのページを価値が低いか、存在しないものとして扱うことがあります。
解決方法:
- 有益なコンテンツを追加する。
- 削除されたページには適切な404または410を返す。
- 適切な場合は、ユーザーを関連する代替ページへリダイレクトする。
- 空のテンプレートをインデックスしないようにする。
ページは単に成功ステータスコードを返すだけでなく、真の価値を提供する必要があります。
15. 検索エンジンがインデックスしないことを選択した
誰も聞きたくない答えかもしれませんが、これが真実であることは多いです。
検索エンジンは、クロール可能なすべてのページをインデックスする義務を負っていません。
技術的に妥当であっても、検索エンジンが「十分な有用性がない」と判断すれば、インデックスされないことがあります。
以下のような場合に発生します:
- そのトピックが他にうまくまとめられたページがある。
- ページが独自の価値をほとんど提供していない。
- サイトに類似したページが多い。
- コンテンツが一般的すぎる。
- 内部リンクが弱い。
- サイト全体の品質が低い。
解決方法:
- コンテンツを改善する。
- 競合結果よりも有用なページにする。
- 独自の具体例、データ、指針を追加する。
- 内部リンクを強化する。
- 類似ページを整理(統合)する。
- そのテーマに関するトピック的権威性を構築する。
インデックスは単なる技術的な作業ではなく、編集的な判断でもあるのです。
インデックスの問題を診断する方法
優れたインデックス診断は、順を追って行われます。
まずは「発見」から:
- URLはサイトマップにあるか?
- 内部リンクされているか?
- 送信済みか?
- Search Consoleで発見されているか?
次に「技術的なアクセス」を確認:
- 200 OKを返しているか?
- robots.txtでブロックされていないか?
- noindexがないか?
- canonicalは別の場所を向いていないか?
- リダイレクトされていないか?
次に「品質」を確認:
- コンテンツは有用か?
- ユニークか?
- 真の検索ニーズに応えているか?
- 競合ページよりも優れているか?
- 十分な内部サポートがあるか?
最後に「監視」:
- クロールされたか?
- インデックスされたか?
- インプレッションは表示されたか?
- クリックは発生したか?
- 修正後に順位は変化したか?
このプロセスを踏む方が、ただ単に送信ボタンを押し直すよりもずっと有益です。
インデックス確認リスト
URLを送信する前に、以下を確認してください:
- ページが200を返す。
- ページがrobots.txtでブロックされていない。
- ページにnoindexがない。
- canonicalが自身を指している。
- ページがサイトマップに含まれている。
- ページに内部リンクがある。
- タイトルとH1が明確である。
- コンテンツが有用で独創的である。
- 構造化データが関連する場合に有効である。
- ページがモバイルで正しく読み込まれる。
- 重要なコンテンツがレンダリング後のHTMLで見えている。
- ページが重複ではない。
これらが複数失敗する場合は、インデックス登録を試みる前にページを修正してください。
IndexStreamの活用方法
IndexStreamは、インデックス登録をより分かりやすく、追跡しやすくするために設計されています。
単発的な送信作業としてではなく、以下のようなワークフローを提供します:
- URLの送信
- 送信内容のログ記録
- リクエストが承認されたかどうかの確認
- ページの状態確認(監査)
- 修正カードの生成
- 競合サイトのベンチマーク
- コンテンツブリーフの作成
- Search Consoleおよびアナリティクスデータの監視
- 修正状況の継続的な追跡
目的は、インデックス登録を保証することではありません。責任あるツールであれば、そのような約束はできません。
その目的は、何が起こっているのか、何が発見を妨げているのか、そして次に何を修正すべきかを理解できるようにすることです。
関連資料については、「Google Indexing APIの解説」、「IndexNowとは?」、「テクニカルSEOチェックリスト」をご覧ください。
最後に
ページがインデックスされていない場合、単に再度送信すればよいと考えるのは禁物です。
まずは、より本質的な問いを立てることから始めましょう:
- そのページは発見されていますか?
- クロール可能ですか?
- インデックス登録が許可されていますか?
- 正規URL(canonical)は正しいですか?
- コンテンツは十分有益ですか?
- 内部リンクは設定されていますか?
- 他のページとの差別化は図れていますか?
インデックスに関する問題は、多くの場合、発見、技術的品質、コンテンツの品質、および優先順位付けが組み合わさって発生します。
優れたSEOワークフローとは、単にURLを送り続けることではありません。どのページを送信すべき価値があるのか、何に修正が必要か、そして修正が実際に可視性を向上させたかを判断する手助けとなるものです。
よくある質問
なぜページがインデックスされないのですか?
ページがインデックスされない理由として、発見されていない、ブロックされている、noindexタグが含まれている、別の正規URLを指定している、コンテンツが薄い、他のページと重複している、あるいは検索エンジンの品質基準を満たしていないなどが考えられます。
インデックス登録にはどのくらい時間がかかりますか?
インデックス登録には数分から数日、あるいは数週間かかる場合があります。期間はサイトの状況、ページの品質、クロール需要、内部リンク、検索エンジンの判断によって異なります。
URLを送信すればインデックスは保証されますか?
いいえ。URLを送信することは発見の助けにはなりますが、実際にクロールしインデックスするかどうかは、最終的に検索エンジンが判断します。
ページはクロールされてもインデックスされないことはありますか?
はい。検索エンジンがページをクロールした結果、インデックスしないと判断することはあります。
robots.txtはインデックスを停止させますか?
robots.txtはクロールをブロックするものであり、直接的にインデックスを停止させるものではありません。しかし、ページがクロールできない場合、検索エンジンはインデックスに必要な重要なシグナルを確認できなくなる可能性があります。
オーファンページとは何ですか?
オーファンページとは、内部リンクが一つも向けられていないページのことです。オーファンページは、検索エンジンが発見し理解することが困難です。
Googleがページを発見したかどうかを確認するにはどうすればよいですか?
Google Search ConsoleのURL検査ツール、サイトマップレポート、サーバーログ、またはインデックス管理ツールを使用して、そのページが発見またはクロールされたかどうかを確認してください。
Join the conversation
Leave a comment