クロールの指示で効くのは4つの行｜書いても無視される記述

巡回を止めたい場所を指定した。記述も追加した。それなのに、止めたはずの場所が検索の一覧に出てくる。原因は、その記述がそもそも読み取られていないことにあります。巡回の指示として読み取られる記述は4種類しかありません。それ以外は、書式が正しくても読み飛ばされます。この記事では、効く記述と効かない記述を分けて整理します。

止めたはずの場所が検索に出てくる

検索の一覧を眺めていて、公開するつもりのなかった場所が出てくることがあります。試験用の一覧、印刷のための頁、絞り込みの結果。いずれも人に見せる意図で作ったものではありません。

そこで巡回の指示を書きます。止めたい場所を並べ、保存する。数日待って一覧を見る。しかし、消えていない。同じ場所が同じように出ています。

次に疑うのは記述の誤りです。綴りを見直し、空白の位置を直し、余分な文字を消す。それでも結果は変わりません。

この段階で見落とされやすいのが、そもそもその記述が読み取りの対象になっていない可能性です。書式は正しくても、種類として想定されていない記述は最初から扱われません。

公表されている説明では、読み取りの対象になる記述の種類がはっきり限定されています。その範囲の外にあるものは、何行書いても意味を持ちません。

この誤解が根強いのは、書式の説明が広く出回っている一方で、対応している記述の種類そのものを並べた説明が少ないからです。検索して出てくる解説の多くは十数年前に書かれたものを引き継いでおり、当時は使われていた記述がそのまま載っています。解説の日付を確かめないまま写すと、効かない記述を書き続けることになります。まずは、何が読まれて何が読まれないかをはっきりさせるところから始めます。

読み取られる記述は4種類しかない

公表されている説明によると、読み取られる記述は4種類です。相手を指定する記述、許可する記述、禁止する記述、一覧の場所を知らせる記述。この4つだけです。

相手を指定する記述は、以降の決まりをどの巡回に適用するかを示します。星印を書けば全体に、特定の名前を書けばその相手だけに適用されます。

禁止する記述は、巡回してほしくない場所を示します。許可する記述は、禁止した範囲の中で例外的に通したい場所を示します。この2つは組み合わせて使います。

一覧の場所を知らせる記述は、他の3つと性格が違います。相手を指定する記述とは独立していて、どこに書いても全体に効きます。順序を気にする必要はありません。

記述の種類	役割	書かないと起きること
相手を指定する記述	以降の決まりを適用する巡回を決める	決まりがどの巡回にも結び付かない
禁止する記述	巡回しない場所を示す	全ての場所が巡回の対象になる
許可する記述	禁止の中で通す場所を示す	配下をまとめて止めてしまう
一覧の場所を知らせる記述	一覧の在りかを伝える	一覧の発見が遅れることがある

この4種類のうち、実務でよく間違えるのが許可する記述の位置づけです。許可する記述は、何も禁止していない場所に対して書いても意味を持ちません。もともと全ての場所が巡回の対象だからです。許可する記述は、禁止した範囲に穴を開けるためだけに使います。単独で書かれた許可の記述は、読み取られはしますが結果を何も変えません。「念のため許可を書いておく」という発想はこの場面では不要です。

巡回の間隔を指定する記述は読まれない

巡回の間隔を指定する記述は、古くから広く書かれてきました。サーバーの負荷を心配する担当者が、念のために入れることも多い記述です。

しかしこの記述は標準の仕様ではなく、後から広まった拡張です。公表されている説明では対応していないと明記されています。書かれていても読み飛ばされます。

読み飛ばされるだけなので、書いてあること自体が不利に働くことはありません。ただし、書いたことで間隔が制御できていると思い込むと判断を誤ります。

負荷が心配なら、別の手段を使います。管理の画面から巡回の頻度を下げる申請をする、応答を返す仕組みの側で調整する、重い処理を別の場所に移す。こうした方法のほうが確実です。

同じように、受け入れ先の名前を指定する記述も読み取りの対象ではありません。住所を一つにまとめたい場合は、転送の設定と正規の場所を示す記述で行います。

なお、対応していない記述を書いたときに警告が出るわけではありません。管理の画面の確認の機能では、読み取れなかった行が注意として表示されることがありますが、見に行かなければ気づけません。書いた本人は指示が通っているつもりのまま運用を続けることになります。定期的に確認の機能を開いて、読み飛ばされた行がないかを見る。この習慣があるだけで、思い込みの期間を短くできます。

検索から消す指示はここに書いても効かない

よくある誤解の一つが、巡回の指示を書く場所に検索から消す指示を書けば消える、というものです。これは効きません。

さらに厄介なのは、巡回を止めると、検索から消す指示が読まれなくなることです。頁の中に消す指示を書いていても、その頁に近づけなければ指示を見つけられません。

結果として、巡回を止めた場所がかえって一覧に残り続けることがあります。中身は表示されなくても、住所だけが並ぶ形です。

消したい場合の順序は逆です。まず巡回を許可したまま頁の中に消す指示を置き、一覧から消えたことを確かめてから、必要なら巡回を止めます。

急いで消したい場合は、管理の画面にある削除の申し出を使います。一時的な措置なので、恒久的な対処は別に用意します。順序を守ることが近道になります。

この順序を守れない場面もあります。たとえば、サーバーへの負荷が大きすぎて今すぐ巡回を止めたい場合です。そのときは巡回を止めたうえで、管理の画面から削除の申し出も併せて出します。止めるだけでは一覧から消えないという点を、必ず頭に置いておきます。落ち着いた段階で、巡回を許可し直して頁の中の指示を読ませ、一覧から消えたことを確かめてから改めて止める。二段階の手順になります。

使える記号は2つだけ

場所の指定には記号が使えます。ただし意味を持つ記号は2つだけです。星印と、末尾を表すドル記号。この2つ以外は普通の文字として扱われます。

星印は0文字以上の任意の並びを表します。途中に置けば、その位置に何が入っていても当てはまるという意味になります。

ドル記号は末尾を表します。特定の拡張子で終わる場所だけを対象にしたいときに使います。これを付けないと、その並びを含む全ての場所が対象になります。

正規の表現に慣れている人ほど、他の記号も使えると考えがちです。しかし、括弧も縦棒も疑問符も特別な意味を持ちません。書いた記号がそのまま文字として比べられます。

この違いは事故につながります。使えない記号を含む指定は意図した範囲と一致せず、止めたい場所が通ったり、通したい場所が止まったりします。

具体的に事故が起きやすいのは、疑問符から始まる引数を止めたいときです。疑問符には特別な意味がないため、そのまま文字として比べられます。ここまでは意図どおりです。問題は、引数の順序が入れ替わる場合や先頭に別の引数が来る場合に一致しなくなることです。こうした場面では、止めたい引数の名前の前後を星印で挟む書き方を使います。順序が変わっても当たるようになります。

大文字と小文字の扱いが場所で違う

記述の名前と、指定する場所の値とでは、大文字と小文字の扱いが違います。名前は区別されず、値は区別されます。

名前が区別されないため、先頭を大文字で書いても全て小文字で書いても同じように読み取られます。見た目を揃える以上の意味はありません。

一方、場所の値は区別されます。大文字を含む場所を止めたいのに小文字で書いていると、一致せず、止まりません。

この差は、住所の付け方に大文字を混ぜている場合に問題になります。作った当初は小文字で統一していても、後から追加した部分で崩れることがあります。

対処は単純です。止めたい場所の住所を実際に開いて確かめ、そのままの表記で書く。推測で書かないことが唯一の防ぎ方です。

文字の符号化にも決まりがあります。8ビットの万国共通の方式で書くこととされており、先頭に付く目印は無視されます。編集の道具によってはこの目印を自動で付けるものがあり、以前は事故の原因になっていました。現在は無視される扱いが明記されているため、目印そのものは問題になりません。ただし、別の符号化で保存してしまうと日本語を含む場所の指定が壊れることがあります。保存の設定は一度確かめておきます。

許可と禁止が重なったときの決まり

許可する記述と禁止する記述が同じ場所に当てはまることがあります。このとき、どちらが優先されるかは決まりとして公表されています。

指定したパスの長さが最も長い記述が使われます。書いた順番ではありません。上に書いたから優先される、ということはありません。

長さが同じで、かつ許可と禁止が食い違う場合は、制限の緩いほうが使われます。つまり許可の側が通ります。

この決まりを知っていると、配下をまとめて止めつつ一部だけ通す書き方ができます。禁止を広く書き、許可を細かく書く。これが基本の形になります。

逆に、順番で制御しようとすると意図と違う結果になります。並べ替えても挙動は変わりません。変わるのは指定の細かさだけです。

相手ごとに違う決まりを書く場合も考え方は同じです。特定の名前を指定した固まりがあると、その相手は全体向けの固まりを読みません。自分向けの固まりだけを見ます。ここを誤解して、特定の相手向けに1行だけ足し、全体向けの決まりも効くと思っていると、その相手には何の制限もかからない状態になります。相手を指定した固まりを作るなら、必要な決まりを全て書き直します。共通部分を引き継ぐ仕組みはありません。

置き場所を間違えると全部が無効になる

この記述を置く場所は決まっています。最上位の階層に置く必要があります。配下の階層に置いても読み取られません。

さらに、適用される範囲も限定されます。同じホスト、同じ通信の方式、同じ番号にだけ効きます。別の名前で運用している場所には及びません。

たとえば、本体と別に用意した情報の発信用の場所がある場合、それぞれに置く必要があります。片方に置いただけではもう片方は制御できません。

通信の方式が違う場合も別扱いです。暗号化されていない側とされている側とでそれぞれ読み取られます。転送しているなら転送先の内容が使われます。

この点は、複数の名前で同じ中身を出している場合に見落とされやすい部分です。住所を一つにまとめる作業と合わせて確かめておきます。

番号を変えて運用している場合も別の扱いになります。通常と異なる番号で管理用の画面を出しているような構成では、そちらにも置かないと制御できません。もっとも、管理用の画面は入口を閉じるべきものであって、巡回の指示で隠すものではありません。見せたくないものは、指示で頼むのではなく入口を閉じる。この原則を外さなければ、置き場所の細かい違いで困る場面は減ります。

ファイルの大きさには上限がある

記述を書く量にも上限があります。公表されている説明では500キビバイトが上限とされています。これを超えた分は無視されます。

通常の運用でこの上限に届くことはほとんどありません。数十行の記述なら問題になりません。

届いてしまうのは、止めたい場所を1件ずつ列挙している場合です。絞り込みの結果や検索の結果を個別に書き並べると行数が膨らみます。

この場合は、記号を使って範囲でまとめます。共通する並びを見つけて1行にまとめれば、行数は大きく減ります。

上限を超えると、超えた部分が丸ごと無視されます。後ろに書いた重要な指示が読まれなくなるため、大事な記述ほど前に置くのが安全です。

行数が増えてしまう根本の原因は、住所の設計にあることが多いものです。絞り込みの条件を住所の一部として持たせている構成では、組み合わせの数だけ住所が増えます。止めたい住所を列挙する作業は終わりがありません。この場合は、止める側で対処するより住所の作り方を見直すほうが早く片付きます。引数として持たせる形に変えれば、1行で範囲をまとめられます。改修の予定に乗せる価値があります。

書き換えてもすぐには反映されない

記述を直したのに変化がない、という相談も多く届きます。この場合、多くは反映の時間差が原因です。

公表されている説明では、内容は通常24時間まで保存されるとされています。書き換えてから、前の内容が使われ続ける時間があります。

急ぎで反映させたい場合は、管理の画面から読み直しを申し出る手段があります。ただし、必ず即時に切り替わるとは限りません。

この時間差を知らないと、直した直後に確かめて効いていないと判断し、さらに書き換えてしまいます。何度も直すと、どの記述が効いたのか分からなくなります。

直したら、日付と内容を記録して1日以上あけてから確かめる。この間隔を守るだけで混乱の多くは避けられます。

逆に、反映を早めたい場面もあります。誤って全体を止めてしまったときです。この場合は、直したうえで読み直しを申し出て、さらに主要な頁について個別に登録の申し出も出します。止まっていた期間が短ければ、影響も限定的です。止めてしまった期間の長さが、戻るまでの時間をおおむね決めます。気づくのが早いほど傷は浅くなります。だからこそ、巡回の状況を示す指標を定期的に見ておく意味があります。

応答が返らないときの扱いは段階で変わる

サーバーが応答を返せないときの扱いも公表されています。返る番号によって扱いが分かれます。

見つからないことを示す番号が返る場合は、指示が存在しないものとして扱われます。つまり、制限がない状態と同じになります。混雑を示す番号は例外です。

サーバー側の不具合を示す番号が返る場合は、段階的に扱いが変わります。最初の12時間は巡回そのものが止まります。

その後の30日間は、前回読み取れた内容が使われます。取得の試みは続きます。30日を過ぎると、指示がないものとして扱われます。

• 見つからないことを示す番号が返るときは、制限がない状態と同じになる
• サーバー側の不具合を示す番号が返るときは、最初の12時間は巡回が止まる
• その後の30日間は前回の内容が使われ、30日を過ぎると指示なしとして扱われる
• 移転や改修で一時的に不具合を示す番号を返す設定にすると、巡回が止まる

この段階的な扱いは、改修の計画に直接影響します。作業中に一時的にサーバー側の不具合を示す番号を返す設定にすると、その間は巡回が止まります。短時間なら問題になりませんが、数日にわたる作業では更新が反映されない期間が生まれます。改修の告知は、番号の選び方まで含めて決めておきます。一時的な停止であることを伝える番号を返し、戻る時期の目安も添える。こうしておけば、巡回の再開も早くなります。

一覧の場所を知らせる記述の書き方

一覧の場所を知らせる記述は、完全な住所で書く必要があります。配下の位置だけを書いても読み取られません。

この記述は、相手を指定する記述の外に置けます。先頭に書いても末尾に書いても同じように扱われます。複数行書くこともできます。

一覧を分割している場合は、まとめ役の一覧を一つ書く方法と、個別の一覧を並べる方法があります。どちらでも構いませんが、まとめ役を使うほうが管理は楽になります。

なお、この記述を書かなくても一覧は管理の画面から送れます。両方やっておくと取りこぼしが減ります。

一覧の中に、巡回を止めた場所を並べてしまう例があります。止めたい場所を一覧に載せるのは矛盾した指示です。どちらかに揃えます。

一覧の場所をここに書くと、誰でもその在りかを知ることができます。一覧には公開している住所しか載せていないはずなので通常は問題になりません。ただし、まだ告知していない頁を一覧に入れたまま公開すると、予定より早く見つかることがあります。公開日を決めている頁は、当日まで一覧から外しておきます。一覧は自動で作られることが多いため、生成の条件に公開日の判定が入っているかを確かめておきます。

全体を止めてしまう事故はこう起きる

最も重い事故は、全体を止めてしまうことです。1行の書き間違いで、サイト全体が巡回されなくなります。

典型は、禁止する記述の後ろに斜線だけを書いてしまう形です。これは全体を意味します。試験の段階で書いた記述がそのまま公開に移ることがあります。

もう一つは、禁止する記述の後ろを空にする形です。空は「制限なし」を意味します。止めたいのに全て通してしまう、逆向きの事故です。

• 試験の環境で使った全体禁止の記述を、公開の環境にそのまま持ち込む
• 禁止の後ろを空にして、止めたつもりで全て通している
• 止めたい場所を1件ずつ並べ、上限を超えて後半が読まれていない
• 巡回を止めたうえで、頁の中に検索から消す指示を書いている
• 使えない記号を含む指定を書き、意図した範囲と一致していない

こうした事故は、気づくまでに時間がかかります。一覧から少しずつ減っていくため、季節の変動と区別しにくいからです。

防ぐには、公開する前に必ず確かめる工程を挟みます。手作業で読むのではなく、確認の道具に通します。

気づくきっかけとして使えるのは、巡回の状況を示す指標です。管理の画面には、1日に取得された頁の数や応答の内訳を示す画面があります。全体を止めてしまうと、この数が急に落ちます。順位や流入が動く前に、取得の数が先に動きます。月に一度この画面を開くだけで、気づくまでの日数を大きく縮められます。流入の変化を待ってから調べ始めると、原因にたどり着くまでにさらに時間がかかります。

公開前の環境では別の手段を使う

公開前の環境を隠す目的でこの記述を使うのは適切ではありません。巡回を止めても、住所が知られれば一覧に載ることがあります。

公開前の環境は、利用者の識別と暗証の組み合わせで入口を閉じるのが基本です。こうすれば巡回そのものが中身に届きません。

接続元の制限をかける方法もあります。社内からのみ開ける設定にすれば、外からは見えません。入口を閉じるほうが、指示で頼むより確実です。

それでも記述を置く場合は、公開の環境に移すときに必ず差し替える手順を決めます。移行の確認項目に入れておきます。

なお、この記述は誰でも読めます。止めている場所の名前を書くこと自体が在りかを教える行為になります。名前の付け方にも注意します。

外部の事業者に開発を任せている場合は、引き渡しの条件に入れておきます。公開の環境に移す時点でこの記述をどう扱うかを文書で決めておく。口頭の申し送りだけだと、担当者が代わったときに抜けます。公開の直後に自社で確かめる工程も、あわせて決めておきます。任せきりにせず、公開の当日に一度だけ内容を目で見る。この5分の作業が、数か月分の流入を守ることがあります。

書いた内容を確かめる工程

書き終えたら、必ず確かめます。目で読むだけでは、範囲の取り違えを見つけられません。実際に判定する道具を使います。

この工程は、初回は30分ほどかかります。2回目以降は10分で終わります。公開前に必ず通す工程として決めておくと、事故はほぼ防げます。

この工程は、担当が代わっても回るように手順書の形で残します。手順書には、確認に使う住所の例をそのまま書いておきます。毎回同じ住所で確かめれば、前回との違いがすぐ分かります。確認に使う住所は、止めたい例と通したい例を5件ずつ用意します。数が多すぎると続かず、少なすぎると取りこぼします。この規模なら、10分ほどで一巡できます。

見直すときに確かめる項目

運用を始めた後も、定期的に見直します。止めたい場所は、サイトの成長に合わせて増えていきます。

• 読み取られる4種類以外の記述が残っていないか
• 巡回の間隔を指定する記述を、効くと思って書いていないか
• 検索から消したい場所を、巡回を止めることで隠そうとしていないか
• 使えない記号を含む指定がないか
• 大文字を含む住所を、小文字で書いていないか
• 最上位の階層に置かれているか
• 別の名前で運用している場所にも、それぞれ置いてあるか
• 行数が増えすぎていないか
• 公開前の環境向けの記述が残っていないか
• 直した日付と理由を記録しているか

この一覧の二番目と三番目が、最も多い誤りです。どちらも「書いたのに効かない」という形で現れます。書いたこと自体を疑う視点が要ります。

見直しの頻度は、半年に一度で十分です。ただし、サイトの構成を変えたときや移転したときはその都度確かめます。

見直しのときに一緒に確かめたいのが、止めている場所が今も止めるべき場所かどうかです。作った当初は非公開だった一覧が、その後の方針変更で公開してよいものになっていることがあります。止めたままの場所が、実は流入の機会を捨てているという例は珍しくありません。1行ずつ、なぜ止めているのかを言葉で説明できるかを試します。説明できない行は、外す候補として印を付けておきます。

まとめ

巡回の指示として読み取られる記述は、相手を指定するもの、許可するもの、禁止するもの、一覧の場所を知らせるものの4種類だけです。巡回の間隔を指定する記述や受け入れ先の名前を指定する記述は読み飛ばされます。

大きさの上限、反映までの時間差、応答が返らないときの段階的な扱いも公表されています。書いた内容は判定の道具で確かめ、直した日付と理由を残す。この2つを習慣にすれば、止めたい場所は止まり、通したい場所は通ります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。