クロールの統計から不調を読む5工程｜巡回の詰まりを見つける

「記事を出しても検索に出てくるまでが遅い」「直したページが、古い内容のまま表示される」——サイトの運用を任されている担当者から届く相談です。この遅れは、待つしかない現象ではありません。巡回のプログラムがいつ何を取りに来たかは、数字で残っています。この記事では、その記録の置き場所と読み方、数字が動いたときの切り分けを5工程で整理します。

順位が動かないのに理由が見えない

検索からの流入が伸びない。担当者はまず順位を見ます。次に記事の中身を疑います。それでも説明がつかないとき、話は「そのうち出るでしょう」で止まりがちです。止まる理由は、途中の工程を見る手段を知らないことにあります。記事を書いて公開する工程と、検索に載る工程のあいだには、取りに来てもらう工程があります。

この途中の工程は、外から見えないわけではありません。検索の運営元が用意している管理ツールに、巡回の記録がまとまっています。何回来たか、どれだけの量を持ち帰ったか、返した応答は何だったか。公開の作業ではなく、取りに来られた側の記録として残ります。自社のサーバーの負荷や設定の影響も、この記録に表れます。

この記録を見る習慣がないと、対策が的外れになります。たとえば内容を書き直しても、そもそも取りに来られていなければ変化は起きません。逆に取りに来られているのに載らないのであれば、内容や指定の側に理由があります。どちらの側の問題かを分けるだけで、次にやることが変わります。この切り分けが、この記事で扱う中心です。

もうひとつ、この記録を見る効用があります。社内の説明が数字で済むようになることです。検索の話は、担当者以外にとって手触りのない話になりがちです。順位や表示回数は結果の数字なので、なぜそうなったかを説明できません。巡回の記録は、結果ではなく途中の工程の数字です。「取りに来られていない」「取りに来られたが失敗を返している」といった事実は、検索の知識がない人にも伝わります。改善の依頼を通すときにも使えます。

巡回の記録はどこにあるか

記録は、検索の運営元が無料で提供している管理ツールの中にあります。設定の画面から入る位置にあり、日々の順位や表示回数を見る画面とは別に置かれています。普段の作業画面から離れた場所にあるため、存在を知らない担当者が多い区画です。初めて開くときは、どこにあるかを社内の手順書に書き残しておくと迷いません。

画面を開くと、まず3つの数字が並びます。取りに来た回数の合計、持ち帰った量の合計、そして応答を返すまでにかかった時間の平均です。この3つが日ごとの折れ線で描かれ、期間の中の増減がひと目で分かります。最初に見るのはこの3本の線で、内訳はそのあとです。いきなり内訳から入ると、全体の変化を見落とします。

数字は自社のサーバーが返した内容をもとに集計されています。つまり、外部の配信サービスに置いたファイルは含まれません。画像を別のドメインに置いている場合、その分は数に入らないということです。同じサイトのつもりでも集計の境目が違うことがあるため、どこまでが対象かを最初に確かめておきます。

見られるのはルートの単位だけ

このレポートには対象の制限があります。ドメイン単位で登録したものか、または最上位のアドレスで登録したものでなければ表示されません。下の階層だけを登録した設定では、この画面そのものが出てきません。特定のディレクトリだけを担当している場合、まずここでつまずきます。

この制限は、巡回がサイトの単位ではなくホストの単位で行われることに由来します。取りに来る側は、階層ごとに来る量を割り振っているわけではありません。だから記録もホストの単位でしか出せないのです。部署ごとにディレクトリを分けている会社では、この点で議論になることがあります。

対応としては、ドメイン単位の登録を別に用意します。登録の名義や権限の管理が増えますが、この記録を見るためには避けられません。サブドメインを複数運用している場合は、ドメイン単位で登録するとホストごとの内訳も同じ画面で確認できます。どのホストに巡回が偏っているかが見えるため、使っていない検証用のホストに量を取られている状況にも気づけます。

複数のホストがあるときの読み分け

ドメイン単位で登録すると、ホストごとの内訳も同じ画面に並びます。会社のサイトは、思っているより多くのホストに分かれていることがあります。本体のホスト、資料を配るホスト、検証用のホスト、採用の情報だけを載せたホスト、海外向けのホスト。それぞれに巡回の量が割り振られているため、合計だけを見ていると偏りに気づけません。まず一覧を開いて、身に覚えのないホストがないかを確かめます。

よくあるのは、検証用のホストに量を取られている状態です。本番と同じ内容を持つホストが公開されていると、取りに来る側はそれを別のサイトとして扱います。本文のページに回るはずだった量が、公開する意図のなかったホストに吸われている状態になります。この場合はホストごとにアクセスの制限を入れるのが根本の対処です。

資料を配るホストが上位に来ている場合も、内容を確かめる価値があります。本文のページより資料のほうが多く取りに来られているなら、資料の側に案内の線が集まっている可能性があります。海外向けのホストが極端に少ない場合は、そのホストへの案内が社内のどこからも張られていないのかもしれません。ホストの一覧は、サイト全体の構成図としても読めます。

期間は直近の90日だけ

この記録は過去90日ぶんしか残りません。去年の同じ時期と比べる、といった使い方はできない設計です。年単位の比較をしたい場合は、自分で書き出して保存しておく必要があります。毎月の初めに画面を保存しておくだけでも、後から役に立ちます。

90日という長さは、季節の変動を見るには短く、施策の前後を比べるには十分な長さです。サイトを大きく作り替えるときは、着手前の状態を必ず控えておきます。作り替えた後で「前はどうだったか」を思い出せなくなるためです。控えておく形式は画面の保存でも表計算への転記でも構いません。

控えるときは、3つの数字だけでなく応答の内訳も一緒に残します。合計の回数が同じでも、中身の構成が変わっていることがあるためです。この構成の変化こそが、後で原因を探すときの手がかりになります。月に一度、5分だけの作業で残せます。

控える形式を決めておくと続きます。表計算に日付と3つの数字と応答の構成比を入れる列を作り、毎月同じ行に書き足していくだけです。画面の写しだけでは後から数字を並べ替えられないため、数値でも残します。半年たまれば、季節の傾向も見えてきます。サイトを作り替えた月に印を付けておくと、前後の比較がすぐにできます。

応答の種類で切り分ける

内訳の一つめは、返した応答の種類です。正常に返せたもの、別のアドレスに転送したもの、変更がないと返したもの、見つからないと返したもの、サーバー側で失敗したものなどに分かれます。ここの構成比が、サイトの健康状態を最もよく表します。回数の合計より先に、この構成を見る習慣をつけます。

正常に返せたものが大半であれば、まず問題はありません。転送が多い場合は、古いアドレスが残り続けているか、アドレスの書き方が統一されていない可能性があります。転送は1回ごとに別のリクエストとして数えられるため、連鎖していると回数が膨らみます。転送の先でさらに転送している箇所がないかを確かめます。

サーバー側の失敗が混じっている場合は、話が変わります。取りに来た時間帯に負荷が集中していないか、特定のファイルだけで失敗していないかを見ます。見つからないという応答は、必ずしも悪いものではありません。消したページに対しては正しい応答であり、消したのに正常を返しているほうがむしろ問題です。

変更がないと返した応答が一定の割合を占めているのは、良い状態です。更新していないページについて、その事実を正しく伝えられている証拠になります。この応答は中身を送らずに済むため、取りに来る側の負担も自社の負担も軽くなります。この応答の割合がまったくないなら、更新の日付を伝える設定が入っていない可能性があります。配信の設定を見直す価値がある箇所です。運用の会社に確かめると、簡単に有効にできる場合があります。

ファイルの形式で無駄を見つける

内訳の二つめは、取りに来たファイルの形式です。本文のページ、画像、動画、動きを付ける部品、見た目を整える部品、資料の形式、構造を書いた形式など、細かく分かれています。本文のページ以外に量を取られていないかを見る内訳です。会社の資料サイトでは、資料の形式が想定より多いことがあります。

見た目を整える部品や動きを付ける部品の割合が高い場合、同じ部品を何度も取りに来られている可能性があります。更新していないのに毎回取りに来られているなら、保存の期間を伝える設定が入っていないかもしれません。設定ひとつで、取りに来る回数を本文のページに回せます。

画像の割合が高い場合も同じです。大きすぎる画像を置いていないか、同じ画像を複数のアドレスで配っていないかを確かめます。持ち帰った量の合計が大きいのに本文のページの取得が少ないなら、見直しの余地があります。

動画の割合が高い会社では、置き場所の見直しが効きます。自社のサーバーに直接置くと、取りに来られるたびに大きな量が動きます。動画の配信に向いた仕組みに移すと、この量が自社の集計から外れます。本文のページに割ける量が増えるという副作用があります。動画を多く扱う会社では、置き場所の設計そのものが巡回の設計になります。資料の形式についても同じ考え方が使えます。

内訳の軸	見るところ	気づけること
応答の種類	正常と転送と失敗の構成比	設定の乱れ、サーバーの不調
ファイルの形式	本文以外の割合	部品や画像への偏り
目的	新しいものと再取得の比	新規が見つけられているか
プログラムの種類	どの用途で来ているか	想定外の用途への偏り

目的の内訳で新しさを見る

内訳の三つめは、取りに来た目的です。これまで一度も取りに来ていないアドレスを見つけに来たものと、すでに知っているページをもう一度取りに来たものに分かれます。新しい記事が載らないという相談では、ここが最初の手がかりになります。新しいものを見つけに来た割合が極端に低ければ、そもそも存在に気づかれていない可能性があります。

見つけに来た割合を上げるには、サイトの中の案内の線をたどれるようにしておくことが基本です。新しい記事へたどり着ける入口が一覧のページしかない場合、その一覧が深い階層にあると気づかれるまでに時間がかかります。一覧の更新と、関連する記事からの案内の両方を用意します。

逆に、再取得の割合が極端に高い場合も見直しの対象です。内容が変わっていないページに何度も来ているなら、更新の日付の伝え方に問題があるかもしれません。変更がないと返す仕組みを整えるだけで、取りに来る量を新しいページに回せます。

目的の内訳には、もうひとつの使い道があります。サイトを大きく作り替えた直後の点検です。アドレスの体系を変えた場合、新しいアドレスが「これまで一度も取りに来ていないもの」として扱われます。作り替えの直後に見つけに来た割合が跳ね上がるのは、正常な反応です。逆に跳ね上がらない場合は、新しいアドレスへの案内が届いていない疑いがあります。

巡回するプログラムの種類

内訳の四つめは、取りに来たプログラムの種類です。携帯電話向け、机の上の端末向け、画像用、動画用、ページを組み立てるための部品を取りに来るもの、広告の審査のためのもの、商品の情報を取りに来るものなどがあります。どの用途で来ているかが分かるため、想定外の偏りに気づけます。

たとえば広告の審査のためのものが大半を占めているなら、広告の出稿の量が多い時期である可能性があります。商品の情報を取りに来るものが多いのに商品を扱っていないなら、設定の名残が残っているかもしれません。種類ごとの内訳は、サイトの用途と実態がずれていないかの点検にも使えます。

携帯電話向けの割合が圧倒的に高いのは、現在では自然な状態です。机の上の端末向けの割合が高い場合は、携帯電話で見たときの作りに問題がないかを別途確かめます。内訳そのものを操作する手段はありませんが、変化に気づくための目印にはなります。

ページを組み立てるための部品を取りに来るものが多い場合は、ページの作りが重くなっている可能性があります。1ページを表示するために取りに来なければならない部品が多いほど、この種類の割合は上がります。表示の速さの改善と、この内訳の改善はほぼ同じ作業になります。使っていない部品が読み込まれていないかを、あわせて確かめます。

取得先の状態を確かめる

レポートには、取りに来る側から見た自社の状態を示す欄もあります。巡回の可否を書いたファイルを取得できたか、名前からアドレスを引けたか、サーバーに接続できたか。この3点のどれかが赤くなっていれば、内訳を読む前にそこを直します。土台が崩れている状態で内訳を分析しても意味がありません。

巡回の可否を書いたファイルが取得できない状態は、特に影響が大きいものです。取得に失敗すると、取りに来る側は安全側に倒して巡回を控えることがあります。ファイルを置いていない場合と、置いてあるのに応答が返らない場合では扱いが違います。置いていないなら見つからないという応答が正しく、サーバーの失敗を返している状態は避けます。

名前からアドレスを引けない状態や、接続できない状態は、多くの場合はサーバーや配信の設定の問題です。自社で運用していない場合は、この画面をそのまま運用の会社に見せます。「検索に出ない」と伝えるより、どの日にどの項目が失敗したかを示すほうが話が早く進みます。

この欄は、障害の記録としても価値があります。利用者からの申し出がなかった時間帯の不調も、ここには残ります。夜間や休日にサーバーが応答しなかった事実は、社内の監視の仕組みが拾えていないことの証拠にもなります。監視の穴を見つける道具として使えるという意味です。運用の会社との定例で、この画面を毎回見る取り決めにしている会社もあります。

5つの工程でたどる

実際の点検は、次の順番で進めると迷いません。上から順に見て、問題が見つかった時点でそこを直します。全部を一度に見ようとすると、何が原因か分からなくなります。

数字が急に減ったとき

回数が急に減ったときは、まず自社側の変更を疑います。サーバーの入れ替え、配信の会社の変更、巡回の可否を書いたファイルの書き換え。減った日と、社内の作業の記録を突き合わせるのが最短の道です。作業の記録がない会社では、この突き合わせができません。変更の記録を残す習慣そのものが、点検の道具になります。

自社側に変更がない場合は、応答時間の線を見ます。応答が遅くなった時期と回数が減った時期が重なっていれば、サーバーの負荷が原因である可能性があります。遅い応答が続くと、取りに来る量そのものが抑えられます。この場合は表示の速さを改善することが対策になります。

どちらでもない場合、サイトの中で新しいページが増えていないだけということもあります。更新の頻度が落ちれば、再取得の必要も減ります。この場合の減少は不調ではありません。減少そのものを問題視せず、何が減ったのかを内訳で確かめてから判断します。

見落としやすい原因が、巡回の可否を書いたファイルの書き換えです。検証用の環境で全体を止める設定を書き、それを本番に持ち込んでしまう事故は珍しくありません。この場合、回数は数日のうちにほぼ止まります。急激な減り方をしているときは、まずこのファイルの中身を目で見ます。取得先の状態の欄にも、同時に異常が出ているはずです。

数字が急に増えたとき

増えたときも同じように内訳を見ます。本文のページの取得が増えているなら、多くの場合は良い兆候です。一方で、失敗の応答が増えていたり、同じ部品を何度も取りに来られていたりする増加は、負荷だけが増えて成果に結びつかない増加です。

よくある原因のひとつが、絞り込みの条件をアドレスに含める作りです。条件の組み合わせのぶんだけアドレスが生まれ、その全てを取りに来られると回数が跳ね上がります。中身がほとんど同じページが大量に生まれていないかを確かめます。この場合は、条件のページを巡回の対象から外す指定が有効です。

もうひとつは、検証用の環境が公開されてしまった場合です。本番と同じ内容を持つ別のホストが見つかると、取りに来る量がそちらに分散します。ホストごとの内訳を見ると、身に覚えのないホストが並んでいることで気づけます。

三つめは、外部の会社に大量に案内された場合です。他社の記事で紹介されると、そこからたどって取りに来られます。この増加は歓迎すべきものですが、サーバーの容量に余裕がないと表示が遅くなることがあります。良い増加でも、受け止める側の準備が足りなければ機会を失います。応答時間の線が同時に伸びていないかを確かめます。

見なくてよい数字もある

この画面は情報が多いため、全部に意味を求めると疲れます。運用の判断に使わない見方を、あらかじめ決めておくと楽になります。次のような見方は、時間をかけるわりに得るものが少ないものです。

• 1日の回数の増減に一喜一憂する（曜日や更新の有無で普通に上下します）
• 回数を増やすこと自体を目標にする（多ければ良いという指標ではありません）
• 他社と回数を比べる（サイトの規模と構成が違えば比較になりません）
• 応答時間の1回の跳ね上がりで障害と判断する（継続しているかを見ます）

見るべきは、構成比の変化と、変化が起きた日です。水準ではなく変化を見る、というのがこの画面の使い方です。この考え方を共有しておくと、報告のたびに数字の大小で議論が止まることがなくなります。

依頼先に伝えるときの書き方

サーバーや配信の設定を外部に任せている場合、この画面の内容をそのまま伝えても話が進まないことがあります。先方が同じ画面を見られるとは限らないためです。日付、症状、該当する応答の種類の3点を文章にして渡します。

たとえば「8月3日から5日にかけて、サーバー側の失敗の応答が全体の2割を超えています。同じ期間に応答時間が平均で3倍になっています。この時間帯のサーバーの負荷を確認してください」といった形です。推測ではなく観測した事実だけを書くのが要点です。

画面の写しを添えるときは、期間を絞って添えます。90日ぶんの折れ線をそのまま送っても読み取ってもらえません。問題のあった週だけを切り出し、比較のために正常な週も一緒に添えると伝わります。

依頼のあとの確認も、同じ画面で行えます。直した日を控えておき、2週間ほど置いてから同じ内訳を見ます。失敗の応答の割合が下がっていれば、対処は効いています。直したという報告ではなく、数字が戻ったことを完了の条件にします。この確認を省くと、同じ不調が数か月後に再発します。確認の日付も、控えの表に書き足しておきます。

社内の運用に組み込む

この点検は、毎日やる必要はありません。月に一度、決まった日に見る程度で十分です。大きな作業の前後には必ず見る、という決め方が現実的です。サイトの作り替え、サーバーの移転、配信の会社の変更、巡回の可否を書いたファイルの書き換えが該当します。

• 画面の内容は自社のサーバーが返した記録に基づくもので、外部の配信に置いたファイルは含まれません
• 対象の期間は直近90日で、それより前は残らないため定期的に控えます
• レポートの仕様は変わることがあるため、項目名は公式の案内で確かめてください

控えた記録は、担当者が替わったときの引き継ぎにも使えます。「この時期に何があったか」を数字で残しておくと、後任が過去の判断をたどれます。記録を残すこと自体が、次の担当者への説明になります。

まとめ

巡回の統計は、検索に出ない理由を推測から観測に変えるための記録です。見られるのは直近90日ぶん、ルートの単位だけという制限があります。まず取得先の状態を確かめ、次に3つの数字の推移を見て、そのあとで応答と形式と目的と種類の内訳を読みます。水準の大小ではなく、構成比の変化と変化の起きた日に注目します。月に一度の点検と、大きな作業の前後の記録を習慣にすれば、原因の切り分けにかかる時間が大きく縮まります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。