クロールの指示が落ちると巡回は止まる｜12時間と30日の境目

記事を消してもいない、設定も変えていない。それなのに検索からの流入が数日で目に見えて減った。順位を調べても大きな変動は出ていない。こうした場面で疑うべき場所のひとつが、巡回の指示を書いたファイルです。このファイルが読めない状態になると、サイト全体の巡回が止まります。この記事では、読めないときに検索側で何が起きるのか、経過時間で扱いがどう変わるのかを整理します。

流入が減ったのに順位は動いていない

検索からの流入が落ちたとき、多くの担当者はまず順位を調べます。順位が下がっていれば内容や競合の問題を疑い、順位が変わっていなければ季節の変動を疑う。この2つの筋道で説明がつかない落ち方をすることがあります。

典型的なのは、新しく公開した記事がいつまでも検索に出てこない、更新した内容が検索結果に反映されない、という現れ方です。既に登録されている情報は残るため、サイトが丸ごと消えるわけではありません。だから気づくのが遅れます。

巡回が止まっても、検索結果からすぐに消えるわけではありません。登録済みの情報がしばらく使われ続けます。止まっていることに気づけるのは、新しい情報が反映されない形でだけです。この時間差が、原因の特定を難しくしています。

サーバーの不具合そのものは、監視の仕組みで検知している会社が多いはずです。ところが監視の対象は、たいてい入口の頁や申込の頁に限られています。巡回の指示を書いたファイルは、人が見に行かない場所です。監視の対象から漏れたまま何日も放置される。これが起きやすい理由です。

復旧の作業そのものは難しくありません。難しいのは、そこに原因があると気づくところまでです。順位と内容だけを見ていると、この筋道には到達できません。流入の減り方が「新しいものだけ出てこない」形なら、巡回の側を疑います。

巡回の指示を書くファイルとは何か

検索の巡回は、サイトを訪れると最初に決まった場所を見に行きます。そこに置かれているのが巡回の指示を書いたファイルです。住所の一番上の階層に置く決まりで、名前も決まっています。どの範囲を巡回してよいか、してはいけないかを、この1枚で伝えます。

中身は数行の短い記述です。対象の巡回の名前を指定し、その相手に対して許す範囲と許さない範囲を並べます。地図の場所を知らせる行を入れることもあります。記述そのものは単純で、書き間違いより読めないことのほうが問題になります。

このファイルは、検索の巡回にとって入口の門にあたります。門が開いていれば中に入る。閉じていれば入らない。では門が壊れていて開いているのか閉じているのか分からないときは、どうするか。その答えが、この記事の主題です。

置いていないサイトも珍しくありません。置いていない場合は、制限がないものとして扱われます。つまり全体を巡回してよい、という意味になります。置かないことと、置いたものが読めないことは、まったく別の扱いです。

読めないときの扱いは3段階で変わる

サーバーの不具合を表す応答が返ったとき、検索側の動きは経過時間によって3つに分かれます。この3段階を知っておくと、障害が何日続くとどこまで影響するのかを見積もれます。

経過した時間	検索側の動き	サイトへの影響
最初の12時間	サイト全体の巡回を止める。ファイルの取得は試み続ける	新しい頁が拾われない
12時間から30日	直前に取得できた写しに従って巡回する	写しの内容どおりに動く
30日を過ぎた後（写しあり）	写しに従って巡回を続ける	古い指示のまま動き続ける
30日を過ぎた後（写しなし）	制限がないものとして全体の巡回を再開する	止めたい範囲まで拾われる

表のとおり、最初の12時間がもっとも強い制限になります。この間はサイト全体が巡回の対象から外れます。短い障害であれば、ここで収まります。

12時間を過ぎると、直前に取得できていた写しが使われます。つまり障害の前と同じ指示で巡回が続きます。この段階では、実害はほとんど出ません。障害が半日を超えたあたりから、かえって影響は小さくなります。

問題は30日を過ぎたときです。写しが残っていればそのまま使われますが、写しが失われていた場合の扱いが変わります。制限がないものとして、サイト全体の巡回が再開されます。止めておきたかった範囲まで拾われる可能性が出てきます。

最初の12時間で何が止まるのか

最初の12時間は、サイト全体の巡回が止まります。新しく公開した頁は拾われません。更新した頁の変更も反映されません。既に登録済みの情報は残るため、検索結果からは消えません。

この時間帯に大きな更新を公開すると、検索側に伝わるのが遅れます。催しの告知や価格の改定のように期限のある情報だと、遅れがそのまま機会の損失になります。

巡回の側は、この間もファイルの取得を試み続けます。サーバーが復旧すれば、正常な内容を受け取って通常の動きに戻ります。復旧してから巡回が戻るまでに、さらに時間がかかることもあります。即座に元どおりにはなりません。

短い障害の場合、この段階で気づくのはほぼ不可能です。半日で復旧してしまえば、記録にも残りにくい。だからこそ、サーバーの監視の対象にこのファイルを含めておく価値があります。

巡回が止まっている間に公開した頁は、復旧後にあらためて拾われます。順番が後回しになるだけで、失われるわけではありません。慌てて公開し直したり、同じ内容を別の住所で出したりすると、かえって混乱します。

12時間から30日は写しで動く

12時間を過ぎると、検索側は直前に取得できていた写しを使い始めます。障害が続いていても、巡回は写しの指示どおりに動きます。この期間の動きは、障害が起きる前とほとんど変わりません。

ただし写しは、障害が起きる直前の状態です。その前に指示を変更していた場合、変更の内容がどこまで写しに入っているかは分かりません。障害の直前に指示を書き換えていたなら、その変更は反映されていない可能性があります。

この期間中も、新しい版の取得は試み続けられます。サーバーが復旧すれば、新しい内容に切り替わります。写しは、あくまで復旧までのつなぎです。

実務上、ここが最も安全な状態です。障害が数日から数週間続いても、巡回は止まりません。焦って別の対処を打つ必要はありません。サーバーの復旧に集中するのが正解です。

30日を過ぎると扱いが分かれる

30日を境に、扱いは2つに分かれます。写しが残っていれば、そのまま写しに従って巡回が続きます。写しが残っていなければ、巡回の制限がないものとして扱われ、サイト全体の巡回が再開されます。

後者の場合、本来は巡回させたくなかった範囲まで拾われる可能性があります。確認用の環境、内部向けの一覧、検索から外しておきたい絞り込みの住所。止めたかったものが止まらなくなるのが、30日を過ぎたときの危険です。

もっとも、1か月にわたってこのファイルだけが不具合を返し続ける状況は、サイト全体が正常とは考えにくい。そこまで放置される前に、別の症状で気づくのが普通です。とはいえ、巡回の指示だけを別の仕組みで返している構成では、起こり得ます。

巡回させたくない範囲を守る方法は、巡回の指示だけではありません。本当に見せたくないものは、認証をかけて守るのが確実です。指示は「お願い」であって、鍵ではありません。

「見つからない」と「読めない」は逆になる

同じ「取得できない」でも、返る応答の種類によって扱いは正反対になります。ここが最も誤解されやすい点です。

返る応答	意味	検索側の扱い
見つからない（400番台の一部）	そのファイルは存在しない	制限なしとみなして通常どおり巡回する
サーバーの不具合（500番台）	サーバーの側で問題が起きている	最初の12時間は巡回を止める
一時的に利用できない（503）	計画的な停止など一時的な状態	不具合と同じ扱いで巡回を控える
取得できるが中身が空	制限を書いていない	制限なしとみなして通常どおり巡回する

つまり、ファイルが「無い」より「壊れている」ほうが、巡回への影響は大きくなります。存在しないことは正常な状態のひとつとして扱われ、壊れていることは異常として扱われます。

この違いは、サーバーの設定でよくある事故につながります。存在しない住所に対して、見つからないではなくサーバーの不具合を返す設定になっていると、置いていないだけなのに、壊れていると受け取られます。

自社の状況を確かめるときは、画面に何が表示されるかではなく、返っている応答の種類を見ます。画面が真っ白でも、正常を意味する応答が返っていることがあります。

メンテナンスのときに返すべき応答

サイトを計画的に止めるとき、巡回の指示を書いたファイルにも同じ停止の応答を返す構成になることがあります。この場合、短時間なら問題は起きません。

一時的に利用できないことを表す応答は、検索側に「今は取りに来ないでほしい、後で戻る」と伝える意味を持ちます。停止のときはこの応答を返すのが、いちばん誤解の少ない伝え方です。

避けたいのは、停止中に見つからないという応答を返すことです。巡回の指示については制限なしとみなされ、頁については消えたと受け取られる可能性があります。止めているだけなのに、消えたと伝えてしまう形になります。

停止の予定が数時間で終わるなら、深く考えずに済みます。数日にわたる移行の作業では、何を返しているかを事前に決めておきます。

• 計画的な停止は、一時的に利用できないことを表す応答で伝える
• 巡回の指示のファイルだけを別の仕組みで返している構成は、事故が起きやすい
• 応答の種類ごとの扱いは変わることがあるため、公式の案内で確かめる

巡回の指示は住所の階層ごとに効く

巡回の指示は、置いた場所の階層にだけ効きます。住所の一番上の階層に置いたものは、その下のすべてに効きます。別の名前の住所や、別の入口を使っている場合は、それぞれに必要です。

見落としやすいのが、同じ会社で複数の入口を持っている場合です。商品の紹介と採用の情報で入口を分けているなら、指示のファイルも入口ごとに必要になります。片方だけを整えても、もう片方には効きません。

暗号化されている入口と、されていない入口も別の扱いになります。転送で片方に寄せている場合は、転送そのものが正常に動いているかを確かめます。

下の階層に同じ名前のファイルを置いても、それは読まれません。一番上の階層のものだけが使われます。階層ごとに指示を分けたい場合は、1枚のファイルの中で範囲を書き分けます。

入口が分かれていることに気づいていない会社は多いものです。入口の数だけ、確かめるべきファイルがあります。商品のサイト、採用のサイト、オウンドメディア。別の入口で運営しているなら、それぞれで応答を確かめます。

気づくための見張り方

この不具合は、普通の監視では見つかりません。見張る対象に明示的に加える必要があります。

監視を入れておけば、12時間の段階で気づけます。気づくのが早いほど、打つ手は単純になります。

見張る仕組みを持たない場合でも、月に一度、住所を打って中身を読むだけで十分な備えになります。誰の担当か決まっていないことが、放置される最大の理由です。サイトの保守を外部に任せているなら、この項目を確認の対象に含めてもらいます。見る人が決まれば、気づくまでの時間は大きく縮みます。

復旧までにやることの順番

原因が分かったあとの動きは決まっています。順番を守れば、余計な作業をせずに戻せます。

やってはいけない対処

焦って打つ手が、かえって復旧を遅らせることがあります。避けたい動きを挙げておきます。

• 指示のファイルをいったん削除して様子を見る（写しが失われ、30日後の扱いが変わる）
• 同じ記事を別の住所で公開し直す（重複が生まれ、評価が分散する）
• 止めたい範囲を、指示ではなく認証もかけずに放置する（巡回が再開したときに拾われる）
• 巡回の指示に、見せたくない住所を細かく書き並べる（そのファイル自体は誰でも読める）
• 復旧の確認を、画面の見え方だけで済ませる（応答の種類は画面から分からない）

特に1つ目は起こりがちです。読めないから消してしまおう、という判断は逆効果になり得ます。消せば制限なしとして扱われ、止めたかった範囲まで拾われます。

4つ目も見落とされます。巡回の指示のファイルは、誰でも住所を打てば読めます。止めたい場所を書き並べることは、そこに何かがあると教えることでもあります。

巡回の指示だけに頼らない設計

巡回の指示は、巡回してよいかどうかを伝えるだけの仕組みです。検索結果に出すか出さないかを決める仕組みとは別物です。

巡回を止めた頁は、中身を読まれません。その結果、検索結果に出すなという指示が書いてあっても、読まれないので効きません。外部から住所を知られていれば、中身のないまま検索結果に出ることがあります。

検索結果から確実に外したい頁は、巡回は許したうえで、出さないための指示を頁の側に書きます。巡回を止める指示と、出さない指示は、同時には使えません。

見せたくない情報そのものは、認証で守ります。確認用の環境、社内向けの資料、公開前の告知。これらを指示だけで守ろうとするのは危うい設計です。

移行や作り直しのときに壊れやすい

この不具合が起きやすいのは、普段ではなく変更のときです。サーバーを移した、仕組みを入れ替えた、前段に別の仕組みを挟んだ。

特に前段に仕組みを挟む構成では、本体は正常なのに前段が不具合を返している、という状態が起こります。本体を見ても異常が見つからないため、原因の特定に時間がかかります。

作り直しのときは、旧サイトの指示のファイルをそのまま持ち込んでしまう事故も起きます。確認用の環境で使っていた「すべて止める」という指示を、そのまま本番に持ち込むと、サイト全体が検索から外れます。

公開の当日に確かめる項目に、このファイルを必ず入れておきます。住所を打って中身を読み、応答の種類を確かめる。1分で終わる作業です。

他の巡回にも同じ指示が効くのか

巡回の指示を書いたファイルは、特定の検索の会社のためだけのものではありません。巡回する仕組みの名前を指定して、相手ごとに範囲を書き分けられます。名前を指定しない書き方をすれば、すべての相手に対する指示になります。

近年は、検索の巡回のほかに、文章を集めて学習や回答に使う仕組みの巡回も増えました。これらは名前が違うため、止めたい相手を明示しない限り、既存の指示では止まりません。

問題は、指示に従うかどうかが相手次第だという点です。行儀のよい巡回は指示を読んで従いますが、従わない巡回に対しては、指示は何の効力も持ちません。止める必要があるなら、サーバーの側で応答を拒む設定が要ります。

読めない状態になったときの扱いも、相手ごとに違う可能性があります。ここまで書いてきた段階の区切りは、特定の検索の会社が公開している仕様です。他の巡回が同じ動きをするとは限りません。

実務としては、主要な検索の巡回を基準に設計し、そのうえで止めたい相手を名前で書き足す。この順番が扱いやすいはずです。相手ごとに別のファイルを用意することはできません。

よくある質問

巡回が止まると検索結果からすぐ消えますか

すぐには消えません。登録済みの情報はしばらく使われ続けます。消えるのではなく、新しい情報が反映されなくなるのが最初に現れる症状です。

復旧したらすぐ元に戻りますか

巡回の再開までに時間がかかり、そこから検索結果への反映にもさらに時間がかかります。数日から数週間を見ておきます。

指示のファイルは置かないほうが安全ですか

置かない選択もあり得ます。止めたい範囲がないなら、置かないほうが事故は減ります。ただし地図の場所を知らせる行を書きたい場合は置きます。

扱いは今後も変わりませんか

巡回の仕様は変わることがあります。ここに書いた段階の区切りも、提供元の案内が更新される可能性があります。重要な判断をする前には、公式の案内で確かめてください。

負荷が高いときに巡回を減らしてもらえますか

巡回の頻度は、サーバーの応答の速さや不具合の多さを見て自動で調整されます。応答が遅い状態が続くと、巡回の側が自主的に頻度を落とします。意図的に落としたい場合の手段は限られるため、まずは応答を速くする方向で考えます。

指示のファイルの大きさに上限はありますか

上限は決められており、それを超えた部分は読まれません。何千行も書く運用になっているなら、書き方そのものを見直す時期です。住所の形で範囲をまとめれば、行数は大きく減らせます。

まとめ

巡回の指示を書いたファイルは、普段は誰も見に行かない1枚です。そのファイルが読めなくなると、最初の12時間はサイト全体の巡回が止まり、その後は写しで動き、30日を過ぎると写しの有無で結果が分かれます。「見つからない」ときは逆に制限なしとして扱われるため、無いことより壊れていることのほうが重い、という関係になります。監視の対象に加えておけば早い段階で気づけますし、変更の直後に一度確かめる習慣があれば、多くの事故は防げます。止めたい範囲を守る手段としては指示だけに頼らず、本当に見せたくないものには認証をかける。この二段構えが、巡回が予期せず再開したときの備えになります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。