記事がインデックスされない原因と対策|AIで切り分けて直す

記事がインデックスされない原因と対策|AIで切り分けて直す

Google検索の世界では、この2年ほどで「公開すれば検索に載る」という前提が崩れつつあります。Googleは2024年3月の大規模なコアアップデートで検索結果の低品質なコンテンツを大幅に減らしたと発表し、同時に、大量生成コンテンツを対象とする新しいスパムポリシーも導入しました。ページを登録するかどうかを選別する目は、確実に厳しくなっています。その結果、時間をかけて書いた記事がGoogleのデータベースに登録されず、どんなキーワードで検索されても表示されない——いわゆるインデックス未登録の問題が、多くのサイトで身近になりました。本記事では、この問題を課題→原因→対策の順に構造化し、Googleの公式情報と公開されている調査を土台に、生成AIを診断と改善に活かす方法を解説します。


カメ先生カメ先生

Googleはね、見つけたページを何でも登録してくれるわけじゃないんだ。公式ヘルプにも、すべてのページが登録される保証はないと明記されているんだよ。


カメ子カメ子

えっ、きちんと書いた記事でも、登録されないことがあるんですか?


カメ先生カメ先生

あるんだ。しかも近年は選別が厳しくなっている。ただ、未登録には必ず理由の文言が表示されるから、そこから逆算すれば手は打てるんだよ。


カメ子カメ子

うちのサイトにも思い当たる記事があります…。サーチコンソールの画面を開きながら、一緒に確認していきます!


この記事のポイント
  • Googleのインデックスは選別制。2024年以降、低品質・大量生成コンテンツへの選別は一段と厳しくなっている
  • 原因はサーチコンソールの未登録理由の文言から逆引きできる。生成AIは診断と改善の相棒になる
  • AIでの記事量産はスパムポリシーに触れ得る逆効果の一手。リライト・重複整理・内部リンクで選別に勝つ

AI×SEOに取り組む前に、社内のAI導入環境から整えませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

目次

検索に載るハードルは、この2年で確実に上がった

変化の起点になったのが、2024年3月にGoogleが実施したコアアップデートです。3月5日に始まり4月19日に完了したこの更新は約45日かけて展開され、Google自身が通常のコアアップデートより複雑で大規模な更新になると説明していたものです。Googleは当初「低品質で役に立たないコンテンツを検索結果から40%減らす」見込みだと発表し、完了後には削減幅が45%近くに達したと報告しています。検索結果に残れるページの椅子そのものが減ったと言ってよい変化です。

同じタイミングで、スパムポリシーにも3つの類型が追加されました。検索順位の操作を目的とした低品質ページの大量公開を対象とする大量生成コンテンツの不正使用、他サイトの信頼性を借りて上位表示を狙うサイトの評判の不正使用、そして期限切れドメインの不正使用です。注目すべきは、大量生成の類型が自動生成か人力かを問わず低品質な量産を対象としている点で、量でインデックスを取りにいく発想そのものがリスクになったことを意味します。以前なら登録されていた水準の記事が、今は見送られる。この前提の変化を踏まえずに従来と同じ作り方を続けることが、未登録が増える最初の原因です。

課題の正体:順位が低いのではなく、土俵に上がれていない

「検索しても自社の記事が出てこない」と聞くと順位の問題を想像しがちですが、実際にはそれ以前の段階、つまりGoogleのデータベース(インデックス)に登録されていないケースが少なくありません。検索結果に並ぶまでには、巡回プログラムがページを読み込むクロール、内容を評価して登録するインデックス、検索のたびに並べ替えるランキングという3つの関門があります。クロール自体がされていなければ品質を磨いても状況は変わらず、逆にクロール済みで選別に落ちているなら導線をいくら増やしても解決しません。どの関門で止まっているかによって、打つべき手は全く変わるのです。切り分け自体は難しくありません。後述のURL検査で最終クロールの日時を確認でき、クロールの記録がなければ手前の関門、記録があるのに未登録なら選別の関門で止まっていると判断できます。

Googleの公式ヘルプには「あらゆる場所のすべてのページが Google インデックスに登録されるという保証はありません」と明記されています。また、SEOツール会社のAhrefsが約140億ページを分析した調査では、96.55%のページはGoogle検索からの流入がゼロだったと報告されています。この数字は未登録だけが原因ではありませんが、公開しただけのページは見つけてもらえないという現実をよく表しています。まずは自社の記事がどの関門で止まっているのかを、感覚ではなくデータで確かめることが出発点です。

AI検索の時代も、インデックスが「入場券」であることは変わらない

「これからはAIによる概要(AI Overviews)の時代だから、従来のインデックス対策は重要でなくなる」という見方を耳にしますが、これは誤解です。Googleの公式ドキュメントは、AI OverviewsやAIモードに引用元として表示されるための条件を、インデックス登録済みで、スニペット付きでGoogle検索に表示できるページであることと説明しています。つまりインデックスは、従来の検索結果だけでなくAI検索に引用されるための入場券でもあり、引用元に選ばれれば、順位争いとは別の経路で読者との接点を作れる可能性があります。

同じドキュメントでは、AI機能向けに特別なファイルや構造化データを新たに用意する必要はない、とも説明されています。一方で、表示のされ方は既存のタグやrobots.txtの記述である程度制御できます。代表的なものを表に整理します。

制御の記述何が起きるか
noindex検索結果にもAI機能にも表示されなくなる
nosnippet / max-snippetスニペットやAI機能での引用のされ方を制限できる
Google-Extended(robots.txt)AIモデルの学習利用を制限する(検索への表示には影響しないとされる)

誤解が多いのがGoogle-Extendedで、これはAIモデルの学習利用を制御するためのトークンであり、ブロックしても検索結果やAI機能への表示には影響しないとされています。AI対策と称した特別な作業を探すより、インデックスの土台を固めるほうが先——公式情報から導ける結論はこれに尽きます。これらの記述を変える場合は、意図した制御と副作用をセットで確認してから反映してください。

サーチコンソールで見るべき画面(1):ページ インデックス登録レポート

現状把握の中心になるのが、サーチコンソールの「ページ インデックス登録レポート」です。サイト内のページが登録済みと未登録に分けて集計され、未登録のページには「クロール済み – インデックス未登録」「検出 – インデックス未登録」といった理由の文言が添えられます。この文言こそが原因診断の一次情報で、本記事の後半はこの文言を軸に進みます。

見るときのコツは、未登録の総数に一喜一憂せず、理由ごとの件数と推移を見ることです。タグページやサイト内検索結果のような、登録される必要のないURLが未登録に含まれるのはむしろ正常な状態です。一方で、力を入れて書いた記事が「クロール済み – インデックス未登録」に並んでいるなら、品質面の対策が必要なサインです。レポートの内容はエクスポートできるため、月に一度、理由別の件数を書き出して記録しておくと、記事の公開ペースやサイト改修と件数の変化の因果が追いやすくなります。

サーチコンソールで見るべき画面(2):URL検査ツール

個別の記事を調べるときは「URL検査ツール」を使います。対象のURLを入力すると、インデックス登録の有無、最終クロールの日時、Googleがどのページを正規(代表)として選んでいるかなどを確認できます。サイト全体を俯瞰するページ インデックス登録レポートに対し、こちらはページ単位の健康診断という位置づけです。

このツールには、登録を促す「インデックス登録リクエスト」機能もあります。ただし公式ヘルプには、送信できるリクエスト数には1日あたりの上限があること、リクエストしてもページが登録されるとは限らないこと、登録には通常1日程度かかるが長引く場合もあることが明記されています。つまりこれは万能ボタンではなく、原因を直した後の仕上げに使う機能です。なお、公開したばかりの記事が数日載らないのは異常ではありません。1〜2週間待っても未登録のままなら原因の切り分けに進む——この目安で焦らず運用しましょう。

未登録理由の文言から原因を逆引きする

ページ インデックス登録レポートに表示される理由の文言は、大きく4つの系統に整理できます。品質の選別に関わる系統、クロールの優先度に関わる系統、重複と正規化に関わる系統、そして設定やエラーに関わる系統です。まず全体像を表で押さえてから、系統ごとに深掘りしていきます。

理由の文言何が起きているか対策の方向
クロール済み – インデックス未登録読み込まれたが登録を見送られた品質改善・リライト・統合
検出 – インデックス未登録URLは知られたが未クロール内部リンク・サイトマップ整備
代替ページ(適切な canonical タグあり)指定どおり正規ページに集約意図どおりなら対応不要
URL に noindex が指定されています登録を拒否する指定が付いている意図しない場合は設定を解除

文言の意味がつかみにくいときは、レポートの文言と該当URLを生成AIに渡して、状況をかみ砕いて説明させると理解が速くなります。着手の順番は件数の多い理由からが基本です。たとえば「クロール済み – インデックス未登録」が最多なら品質改善から、「検出 – インデックス未登録」が多いなら導線整備から、という具合に、レポートの内訳がそのまま対策の優先順位になります。この逆引きの地図を持っているかどうかが、闇雲な対策と的を射た対策の分かれ目です。

「クロール済み – インデックス未登録」は品質の選別に落ちた状態

この文言は、Googleがページを読み込んだうえで登録を見送ったことを意味します。クロールには成功しているため、導線や設定の問題ではなく、内容の評価段階で選別に落ちている状態です。内容が薄い、独自の情報がない、サイト内や他サイトの記事と似たことしか書いていない——こうした品質面の要因が典型で、冒頭で見た2024年以降の選別強化の影響を最も受けやすい理由でもあります。

対処の軸は、リライトによる品質の底上げです。検索意図への回答が浅くないか、自社ならではの経験・データ・事例が入っているかを見直します。リライトの狙いは、後述するGoogleの公式ドキュメントが問題視する「手間・独自性・付加価値の乏しさ」を解消することだと考えると、方向を誤りません。注意したいのは、この理由のページがサイト内に大量にある場合です。個別記事の問題ではなく、サイト全体で低品質ページの比率が高いことを示してしまっている可能性があり、リライトだけでなく統合や整理も含めた棚卸しが必要になります。

「検出 – インデックス未登録」はクロールの優先度が低い状態

こちらの文言は、GoogleがURLの存在を把握したものの、まだクロールしていないことを意味します。ページの中身は見られてすらいない段階です。サイト内のどこからもリンクされていない、XMLサイトマップが整備されていない、公開から日が浅い、ドメインの運用歴が短い——といった要因が重なると、クロールの順番がなかなか回ってきません。記事数が急に増えたサイトや立ち上げ期のメディアで起きやすい状態です。

対処の軸は、クローラーがたどり着ける導線づくりです。関連する既存記事から内部リンクを張る、XMLサイトマップをサーチコンソールに送信する、重要な記事はトップページやカテゴリページから数クリックで辿れる位置に置く、といった手当てが基本になります。どこからもリンクされていない孤島のページは、読者にもクローラーにも見つけてもらえません。また、運用歴の浅いサイトはクロールの割り当て自体が小さい傾向があるため、公開ペースを上げるより先に、既存記事への導線整備を済ませるほうが効率的です。

重複・canonical系の文言はGoogleの正規ページ選択を読み解く

「代替ページ(適切な canonical タグあり)」は、自分で指定した正規ページにきちんと集約されている状態で、多くの場合は対応不要です。注意が必要なのは「重複していますが、ユーザーが正規ページとして選択していません」や「重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」という文言で、こちらはGoogleが自社の意図と違うページを代表に選んでいることを示します。

この場合はURL検査ツールを開き、Googleが選択した正規URLの欄で、どのページに集約されたかを具体的に確認します。内容がほぼ同じ記事が複数あるなら統合を検討し、別々に登録させたいなら、検索意図の違いがはっきり分かるまで内容を差別化します。パラメータ付きURLのような技術的な重複は、canonicalタグの指定を見直します。どの記事を残すか迷う組み合わせは、両方の本文を生成AIに渡して重なりと違いを整理させると、統合か差別化かを判断する材料が短時間でそろいます。

noindex・robots.txt:意図しない設定ミスを洗い出す

「URL に noindex が指定されています」「URL が robots.txt によってブロックされています」という文言は、登録しないでほしいという指定をGoogle側が受け取った状態です。意図的な設定なら問題ありませんが、登録させたい記事でこの文言が出ているなら、設定ミスの混入を疑います。テーマやプラグインの更新、サイトリニューアルのタイミングで意図せず紛れ込むことが多い、見落とされがちな落とし穴です。

確認は、該当ページのHTMLソースでnoindexタグの有無を見る、robots.txtの記述を読む、の2点が基本です。WordPressを使っているなら、管理画面の表示設定にある検索エンジンへの表示を止めるチェックが有効のままになっていないかも、真っ先に確認したい定番の見落としです。robots.txtの構文が読み解けないときは、記述をそのまま生成AIに貼って、どのURLがブロックされるかを説明させると、専門知識がなくても状況を把握できます。ただし、この種の設定変更はサイト全体に影響します。修正後はURL検査ツールで該当ページの状態の変化を必ず確かめてください。

「AIで記事を量産して解決」が最悪手になる理由

未登録が多いなら記事数を増やして当たりを増やせばよい——この発想は、現在の環境では最も危険です。前述のとおり、Googleのスパムポリシーは大量生成コンテンツの不正使用を明確に禁じており、その対象は自動生成か人力かを問いません。生成AIで似たような記事を量産する行為は、インデックスされないどころか、サイト全体の評価を損なうリスクを抱え込むことになります。ありがちな悪手を先に整理しておきます。

  • AIで低品質な記事を大量公開する:大量生成コンテンツの不正使用と見なされるリスクがある
  • 未登録のまま同じテーマの記事を足し続ける:重複が増え、正規ページの選択がさらに乱れる
  • 原因を直さず登録リクエストを連打する:1日の上限を消費するだけで、登録は保証されない
  • 未登録ページを機械的に削除して終える:品質改善の機会を捨て、サイトに資産が残らない

2024年の一連のアップデートは、まさにこの種の量産への対処を明確に打ち出したものでした。誤解のないように補足すると、生成AIそのものが悪いわけではありません。量産の道具として使えば逆風になり、診断と改善の道具として使えば強い味方になる、という使いどころの問題です。では、AIで書くこと自体はどう評価されるのか。次で公式見解を確認します。

AIで書いた記事はインデックスされないのか:Googleの見解

多くの担当者が抱く「AIで書いた記事だから未登録なのでは」という疑問に答えておきます。結論から言えば、Googleは生成AIツールの使用そのものを禁止していません。2023年の公式ブログで、評価するのはコンテンツの品質であって制作手段ではないという方針を示して以来、この立場は一貫しています。AI製かどうかではなく、価値があるかどうかで選別されるのです。

現在の公式ドキュメントが問題視するのは、ユーザーにとっての価値を付加することなく大量のページを生成することであり、ほとんど手間をかけず、ほとんど独自性がなく、ほとんど価値を付加せずに作られたコンテンツです。一方で、トピックの調査、コンテンツの構造化、メタデータの精度向上といった用途には生成AIが有用だとも述べられています。あわせて、コンテンツがどう作られたかについての透明性を保つことも推奨されており、監修者や執筆体制を明記することは、読者への誠実さと選別対策の両面で理にかなっています。

この線引きを実務に翻訳すると、AIの下書きをそのまま公開する運用は選別に落ちやすく、AIの下書きに自社の経験・データ・事例という付加価値を載せて仕上げる運用なら勝ち筋がある、ということです。問われているのは制作手段ではなく、手間と独自性と付加価値。未登録記事のリライトも、この3点を満たす方向で行います。この判断基準は従来の検索結果だけのものではなく、先に見たAI機能への引用も同じ土台の上にあります。

生成AIの使い所(1):未登録記事の品質診断とリライト

「クロール済み – インデックス未登録」の記事には、生成AIを品質診断に使います。記事本文と狙っているキーワードを渡し、検索意図への回答の抜け、内容の薄い箇所、他記事との重なりを指摘させるのです。次のようなプロンプトが出発点になります。

あなたはSEOコンサルタントです。以下の記事はサーチコンソールで「クロール済み - インデックス未登録」と表示されています。品質面の原因を診断してください。

・狙っているキーワード:(キーワード)
・記事本文:(本文を貼る)
・サイト内の類似記事のタイトル一覧:(一覧を貼る)

出力してほしいもの:
1. 検索意図に答えられていない箇所
2. 内容が薄い・一般論にとどまっている箇所
3. 類似記事と重複している箇所
4. リライトの優先順位と方針

AIの指摘はあくまで仮説で、事実と異なるものが混ざることもあるため、着手前に一度ふるいにかけてください。そのうえで、自社の事例・数字・現場で得た知見といったAIには書けない独自の情報を人が書き足すことが欠かせません。リライト後は、変更点の要約もAIに作らせておくと、後から効果を検証するときに何を変えたかをすぐ追跡できます。診断はAI、独自性は人。この分担が、選別に勝てる品質への近道です。

生成AIの使い所(2):重複整理と内部リンク設計

重複・正規化系の文言が多いサイトでは、生成AIに記事の棚卸しを手伝わせます。タイトルとリード文の一覧を渡し、テーマが重なる記事の組み合わせを挙げさせれば、統合候補の洗い出しが一気に進みます。統合を決めた場合は、内容を一本にまとめたうえで、古いURLから新しいURLへの転送(301リダイレクト)を設定し、評価の分散と重複判定の再発を防ぎます。設定後は、URL検査で新しいURLが正規として認識されているかも確認しておくと安心です。

「検出 – インデックス未登録」対策の内部リンク設計でも、AIは力を発揮します。記事タイトルの一覧から、関連する記事の組み合わせとリンクを張る位置の候補を挙げさせれば、孤島ページを潰す作業の下ごしらえが整います。リンク候補を選んだら、アンカーテキスト(リンクの文言)も複数案を出させ、記事の文脈に合うものを選ぶと自然に仕上がります。ただし、機械的に大量のリンクを張るのは読者体験を損ねます。読者が実際にクリックしたくなる文脈のリンクだけを人が選ぶことで、クローラーにも読者にも効く導線になります。

登録リクエスト・Indexing API・IndexNowの誤解を正す

インデックス対策の情報には、誤解や古い裏技が混ざりがちです。特にAPI系は要注意で、GoogleのIndexing APIが使えるのは求人情報(JobPosting)とライブ配信動画(BroadcastEvent付きのVideoObject)のページに限られます。一般の記事への流用のような悪用には、アクセス権の取り消しがあり得ることも公式ドキュメントに明記されています。次の点は特に誤解が多いため、整理しておきます。

  • Indexing APIの対象は求人情報とライブ配信動画のページのみ。一般記事への流用は悪用と見なされ得る
  • IndexNowはBingなどが対応する即時通知の仕組みで、Googleは対応していないとされている
  • インデックス登録リクエストには1日あたりの上限があり、送信しても登録は保証されない
  • 外部のインデックス登録代行サービス経由の登録成功率は3割程度だったという調査報告もある

生成AIにインデックス対策を相談すると、こうした古い情報や俗説が回答に混ざることがあります。APIや仕様に関する回答は、そのまま実行に移さず、Googleの公式ヘルプで裏を取る習慣をセットにしてください。回答に含まれる情報がいつ時点のものかを尋ねるのも有効です。たとえば、Indexing APIを一般の記事に使って登録を早めるといった解説は今も見かけますが、公式ドキュメントが定める対象範囲と矛盾する使い方です。AIは調べる時間を短縮してくれる道具であって、一次情報の代わりではありません。

登録はゴールではない:デインデックスを前提にした維持運用

もう一つ、近年の変化として押さえておきたいのが、登録された後の話です。1,600万ページ超を追跡した海外の調査では、一度インデックスされたページの21%が、後に検索結果から消えていたと報告されています。同じ調査では、登録から1週間以内に約2%、1か月以内に約8%が消えたともされており、登録直後ほど不安定な傾向がうかがえます。選別はクロール時の一度きりではなく、登録後も続くと考えたほうが実態に合います。だからこそインデックス対策は、単発の作業ではなく繰り返しの運用として設計します。重要ページのURL一覧を控えておき、四半期に一度まとめて登録状態を確かめる定点チェックも現実的な方法です。

STEP1
月に一度、ページ インデックス登録レポートを確認する

未登録理由ごとの件数と推移を記録し、前月から増えている理由に注目します。

STEP2
理由の文言から原因の系統を特定する

品質・クロール優先度・重複・設定ミスのどれに当たるかを、本記事の逆引き表で切り分けます。

STEP3
AIで診断し、リライト・統合・内部リンクで改善する

独自情報の追記は人が担い、改善を終えたページから登録リクエストを送ります。

STEP4
登録後も推移を追い、消えたページは再診断する

デインデックスに早く気づける状態を保ち、サイト全体の品質の底上げを続けます。

この一連の流れを回し続けることが、従来の検索にもAI検索にも載り続けるための土台になります。

まとめ

インデックス対策の本質は、リクエストの連打でも記事の量産でもなく、未登録理由の文言から原因を特定し、品質・導線・設定を一つずつ直すことにあります。Googleの選別は2024年以降確実に厳しくなり、低品質な大量生成はスパムポリシーの対象になりました。一方で、AIで書いたこと自体は減点要因ではなく、問われるのは手間・独自性・付加価値です。そしてAI Overviewsのような新しいAI検索でも、引用の前提はインデックス登録のままです。生成AIは診断・リライト・重複整理・内部リンク設計の相棒として使い、一次情報の確認と独自性の追加は人が担う。まずはサーチコンソールのページ インデックス登録レポートを開き、自社の未登録理由の内訳を確かめるところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

AI×SEOに取り組む前に、社内のAI導入環境から整えませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

運営会社:株式会社デボノ

目次