CVRが上がらない原因の切り分け方｜AIに読ませる順番

「広告も記事も訪問は増えているのに、問い合わせだけが増えない」「先月からCVRが0.4ポイント落ちた。原因の見当がつかないまま、直す場所だけを探している」。——前者は数字を持ってくる側から、後者は面を直す側から出てきます。同じ表を見ていて、見ている場所が違うのです。ここで先に押さえておきたい事実が1つあります。同じ期間・同じ成果でも、コンバージョン率は1つに定まりません。アクセス解析の標準的な設定では、セッションを分母にした率と、ユーザーを分母にした率が別々に用意されています。しかもセッションは30分間の操作がなければ終了する区切りです（既定値。最大で7時間55分まで延ばせます）。検討に時間のかかる商材ほど、1人の検討が複数のセッションに割れ、分母だけが膨らみます。CVRが上がらないのは、打ち手が弱いからとは限りません。どこで落ちているかを分けないまま打っているからです。この記事では、改善案を出す前に済ませる切り分けの順番を整理します。

下がったのは成果か、それとも分母か

CVRは、成果の件数を分母で割った数字です。分子が1件も減っていなくても、分母が増えれば率は下がります。たとえば展示会の翌月に社名での検索が増え、訪問が2割増えたとします。問い合わせの件数が前月と同じなら、CVRはおよそ17パーセント下がった形になります。これは悪化ではなく、認知の施策が先に分母を押し上げただけです。

逆の見え方もあります。分母も分子も同じ割合で減っているとき、CVRは横ばいのままです。数字の上では健全に見えますが、事業の側では成果が減っています。率だけを追うと、良くなったのか悪くなったのかが判別できません。期間を比べるときは、率の前に分子と分母の実数を並べて出す、というだけで読み違いのかなりの部分は消えます。

もう1つ、社内で率の定義が割れている場合があります。分母をセッションにするか、ユーザーにするかで数字は変わります。検討期間が長いほど1人が何度も訪れるので、セッションを分母にした率のほうが低く出ます。どちらが正しいという話ではなく、どちらを社内の共通言語にするかを先に決めて、報告のたびに揃えることが要ります。決めていないと、良い数字が出るほうを無意識に選ぶ力が働きます。

切り分けの順番を先に決める理由

順番を決めずに見はじめると、人は目立つ数字から手をつけます。直帰の割合、滞在の時間、スクロールの深さ。これらは成果と相関しますが、動かしても成果が動くとは限りません。相関のある指標は、原因の候補ではなく結果の一部であることが多いからです。

そこで、層を決めて上から降ります。第0層が計測、第1層が母数、第2層が経路、第3層が面、第4層が後処理です。順番の根拠は単純で、上の層に異常があると、下の層の数字が全部汚れるからです。計測が二重になっていれば、経路別の数字も面別の数字も、そろって狂います。汚れた数字の上で面を比べても、比べたことになりません。

よくある落とし穴は、面から見はじめることです。面は自分たちで直せるので着手しやすく、直せば何かが動いた気になります。しかし直しやすさと、原因がそこにあるかどうかは無関係です。層を上から降りる決まりを作っておくと、着手しやすさに引っ張られなくなります。

層	見るもの	白と判断できる条件	黒だったときの一手
第0層 計測	変更の履歴、タグの重複、取りこぼし	期間の前後で計測の条件が同じ	数字を直してから出直す
第1層 母数	新規と再訪、地域、端末、指名の比率	分母の内訳の比率が前期と同じ	内訳をそろえて比べ直す
第2層 経路	経路ごとの分子・分母・率	どの経路の率も動いていない	動いた経路だけを下に降ろす
第3層 面	役割の境目を通った割合	境目の通過率が前期と同じ	その境目の前後だけを見る
第4層 後処理	有効な件数、商談になった件数	件数と有効件数の比率が同じ	受け取り側の運用を見る

第0層：数字そのものを疑う

最初に疑うのは、面でも人でもなく数字です。成果が二重に数えられていることは珍しくありません。同じ完了画面に複数の計測タグが載っている、媒体ごとの計測が重なっている、利用者が完了画面を再読み込みしたりブラウザの戻る操作をしたりして再び発火する。いずれも1件が複数件になります。

見つけ方は決まっています。成果の件数が営業側の受注や商談の記録を上回っていないか、特定の端末や閲覧ソフトだけ率が極端に高くないか、同じ人が短時間に複数件になっていないか。率が不自然に高い側の異常は見逃されやすいので、下がったときだけでなく、上がったときも同じ点検をします。

取りこぼしも同じ層の問題です。転送の途中でタグが読まれる前に離脱する、同意を得る前の行動は記録に残らない、といった形で分子が欠けます。推定で補われている分がどれくらいあるかは別の論点ですが、比べる2つの期間で計測の条件が同じかどうかだけは、必ず先に確かめます。

期間の切り方も、この層に含まれます。集計は即時ではありません。当日や前日の数字は後から増えることがあり、締めた直後に率を出すと、分子だけが未確定のまま低く出ます。締めた月の数字は、数日おいて確定してから見る。この運用にするだけで、月の初旬に「急落した」と騒ぐ回数が減ります。日付の区切りが、広告の管理画面と解析の側で1日ずれていることもあります。ずれていれば、月の境目に近い成果が別の月に入り、両方の月の率が同時に狂います。区切りの基準がそろっているかは、一度だけ確かめて記録に残しておけば足ります。

• 前月と比べる前に、前月と今月で計測の設定が同じかを確認していない
• タグの更新日と、数字が動いた日を突き合わせていない
• 成果を1回だけ数えるか毎回数えるかの取り決めが、途中で変わっていることに気づいていない
• 率が上がったときは点検せず、下がったときだけ点検している

第1層：来ている人の顔ぶれを見る

計測が白なら、次は分母の中身です。面を1文字も変えていなくても、来る人が入れ替わればCVRは動きます。見る軸は多くありません。新規と再訪の比率、地域、端末、そして社名や商品名での検索かどうか。この4つで、たいていの動きは説明がつきます。

指名の検索は成果になりやすく、一般的な語での検索はなりにくい。だから指名の比率が下がるだけで全体の率は落ちます。ここで面を直しても意味がありません。むしろ、指名の検索を増やす施策のほうが効きます。分母の内訳が変わったときの打ち手は、面ではなく集客の側にあります。

法人向けでは、もう1つ特有の動きがあります。検討が進むと同じ会社から複数の担当者が訪れます。分母は人数分増えますが、問い合わせは1件です。稟議が動いている時期ほど率は下がります。率の低下が、検討が進んでいる証拠であることさえあります。社内の閲覧、監視のツール、巡回する機械の分が混じっていないかも、この層で外しておきます。

認知を広げる施策には時間差があります。展示会、ウェビナー、記事、報道。いずれも分母を先に増やし、成果は後から出ます。同じ月の中で分母と分子を突き合わせると、必ず率が悪く見えるので、施策の性質に合わせて見る期間をずらします。

第2層：経路ごとに分けて見る

全体の率は、経路の構成比だけでも動きます。数字で見ると分かりやすいので、簡単な例を置きます。前月、指名の検索から1,000訪問で50件（5.0パーセント）、一般的な検索から4,000訪問で40件（1.0パーセント）。合計5,000訪問で90件、全体は1.80パーセントです。

翌月、指名は変わらず1,000訪問で50件。一般的な検索が6,000訪問に増え、率は1.0パーセントのまま60件。合計7,000訪問で110件になり、全体は1.57パーセントです。どの経路の率も1ポイントも動いていないのに、全体は0.23ポイント下がり、成果の件数は20件増えています。この形は驚くほど頻繁に起きます。

だから経路で割ります。割り方は媒体名ではなく、来た人の意図で分けるほうが読めます。指名、課題を探している段階、比較している段階、再訪。同じ検索という媒体でも、この4つは別物です。媒体で割ると、媒体の中で意図が混ざったまま平均されます。

この層の落とし穴は、経路の定義が途中で変わることです。広告の自動付与の設定を変えた、遷移の途中でパラメータが落ちるようになった、短縮の仕組みを挟んだ。いずれも経路の内訳が急に変わります。経路別の合計が全体と一致しているか、分類できていない分がどれくらいあるかを、毎回見ておきます。

第3層：面の役割で分ける

経路まで白なら、ようやく面に降ります。ここでも、いきなり個別のページを見比べるのは早すぎます。先に面を役割で分けます。入口の面、説明の面、比べる面、申し込む面。役割が違えば、見るべき数字も違います。

入口の面で見るのは、成果の率ではなく「次の面に進んだ割合」です。入口の面の率が低いのは当たり前で、そこを他の面と並べて比べても意味がありません。申し込む面で見るのは「開いた人のうち入力を始めた割合」です。面の比較は、同じ役割どうしでしか成立しません。

落ちている場所は、面の中ではなく役割の境目で数えると特定できます。説明の面から申し込む面へ、何割が渡ったか。申し込む面を開いた人のうち、何割が入力を始めたか。境目の通過率を並べると、どの境目で急に落ちているかが1つに絞れます。絞れてはじめて、その面を細かく見る価値が出ます。

• 申し込む面の内側、つまり項目の数や文言、確認の画面をどうするかは、この記事の範囲外です
• この記事で決めるのは「申し込む面に入る手前で落ちているのか、入ってから落ちているのか」までです
• 境目が1つに絞れないうちに面の中を直しはじめると、直した効果が別の要因に埋もれます

第4層：申し込んだあとの処理を見る

見落とされやすいのがこの層です。CVRの目標は問い合わせの件数ですが、事業が欲しいのは商談です。件数は増えているのに商談が増えないときは、面ではなく受け取り側を疑います。

典型は4つあります。自動の返信が届いていない（送信元の設定で迷惑扱いになっている）。営業への引き渡しが手作業で半日から1日遅れている。重複の判定で消えている。フォームに書かれた内容が、営業が見る画面に渡っていない。いずれも面の数字には表れず、成果が増えても事業の数字が動かない、という形でしか見えません。

逆の動きもあります。受け取りの基準を厳しくすると、たとえば同業や求人目的の問い合わせを除くと、CVRは下がります。しかし商談は増えます。数字の悪化が改善であることがあるので、この層を直すときは、事前に「率は下がるが有効な件数は増えるはず」と宣言しておきます。宣言していないと、下がった率だけが独り歩きします。

実務上は、成果の定義を2本立てにしておくのが早道です。件数と、有効な件数。有効の判定は営業側が持ちます。この2本があると、面の問題か後処理の問題かを、毎月の数字だけで切り分けられるようになります。

季節と広告の出し方で動く分をよける

層を降りる前に、外しておくべき揺れがあります。1つは季節です。法人向けは平日に寄るので、比べる2つの期間の平日の日数が違うだけで率が動きます。年度末、大型の連休、夏季の休みは、分母の性質そのものを変えます。前月ではなく前年の同じ月と比べる、あるいは曜日の構成をそろえるだけで、この揺れは減ります。

もう1つは広告の出し方です。多くの媒体は日ごとの費用が平均の予算を超えることを許しており、代表的な検索広告の媒体では、1日の費用の上限は1日の平均予算の2倍、1か月では平均予算の30.4倍（365日を12か月で割った日数）とされています。つまり月の前半と後半で、1日あたりに来る人の量が違っていることがあります。月の途中で予算を触った月は、特に前月と比べられません。

拾う検索の範囲が変わったときも、来る人の質が変わります。範囲を広げれば分母は増え、率は下がります。これも面の問題ではありません。比べる期間は、曜日の構成と配信の条件をそろえる。そろえられないなら、広告を除いた素の数字も併せて出す。この2つを決めておくと、季節の話で会議が止まらなくなります。

切り分けの順番を決めてからAIに渡す

ここまでの5層を、AIに手伝わせます。ただし手伝わせる範囲は限られています。読ませてよいのは、期間をそろえた数字の束と、自由記述の分類の2つです。問い合わせの本文、アンケートの回答、営業の面談メモ。これらを決めた軸で分類させる作業は、人がやるより速く、揺れも小さくなります。

大事なのは順番です。まず母数の変化、次に経路別、最後に面。この順で、1回のやり取りに1つの層だけ渡します。順番を決めずに全部まとめて渡すと、相関の強い項目を原因として返してきます。滞在の時間、スクロールの深さ、閲覧したページ数。これらは成果と強く相関するので、上位に並びます。しかし動かしても成果は動きません。

渡すときは、前の層で出した結論を文章で添えます。「計測は白。母数のうち指名の比率が3ポイント下がっている。この前提で、経路別の表を読んでほしい」といった形です。前提を書かずに表だけ渡すと、AIは前提を自分で作ります。

AIに「原因はこれです」と言わせない

同じくらい重要なのが、出力の形を先に縛ることです。求めるのは原因の断定ではなく、差が出ている箇所と、その差が偶然で説明できるかどうかです。原因を答えさせると、もっともらしい1行が返ってきて、検証の手前で話が終わります。

縛り方は3つあります。第1に、根拠の場所を書かせる。どの行のどの数字を見てそう言ったのかを、項目名で示させます。第2に、断定させない。「これが原因である」ではなく「次に確かめる価値がある」までの言い方に固定します。第3に、数字を作らせない。与えていない数字が回答に出てきた時点で、その回答は捨てる、という運用の決まりにします。合計や割合の再計算も、こちらで確かめます。

そして、AIの回答に関係なく人が必ず目で見る範囲を、先に決めておきます。計測の変更履歴と、母数の内訳の2つは、どんな回答が返ってきても人が見る。この2つは異常があると下の層を全部汚すので、機械の判定に任せる場所ではありません。逆に言えば、それ以外の層は分類と要約をかなり任せられます。

• 層に分けずに、全部の指標を1枚の表にまとめて渡している
• 「原因を3つ挙げて」と頼み、返ってきた3つを検証せずに施策の候補にしている
• 根拠の行を書かせていないので、回答が正しいかどうかを確かめられない
• 計測の異常まで含めて機械に判定させ、人が数字そのものを見ていない

1つずつ変えるもの、まとめて変えてよいもの

原因の候補が絞れたら、次は変え方です。ここで判断が要ります。戻す可能性があるものは1つずつ、戻す可能性がないものはまとめて。この線引きが最も実用的です。

戻す可能性がないものとは、直すことに誰も反対しない不具合です。表示の崩れ、切れているリンク、極端に遅い読み込み、端末によって押せないボタン。これらは効果を測る対象ではなく、直すのが当たり前のものです。1つずつ試して待つ理由がありません。まとめて直します。

戻す可能性があるものは、提供する資料の中身、申し込む面の構成、見せる価格の情報、訴える順番。よくなるとは限らず、悪くなれば戻す判断が要るものです。これらを同時に3つ変えると、良くなっても悪くなっても、どれが効いたか分かりません。

測れない差がある、という前提を持つ

1つずつ変える、と決めても、訪問が少ない面ではそもそも判定できません。数で示します。現在のCVRが2.0パーセントの面を2.2パーセント（相対で10パーセントの改善）にできたかどうかを、有意水準5パーセント・検出力80パーセント・両側の検定・1対1の配分で判定するには、片方の群だけでおよそ8万件の訪問が要ります。合わせて16万件です。

月に5,000訪問の面であれば、この差は現実的に測れません。だからといって改善できないわけではなく、小さな面では、小さな変更を1つずつ試す設計そのものが成立しないというだけです。狙う差を大きくすれば必要な件数は急に減ります。同じ2.0パーセントの面でも、相対20パーセントの改善（2.4パーセント）を狙うなら片群およそ2万1千件で足ります。

現在のCVR	相対10パーセントの改善を判定（片群）	相対20パーセントの改善を判定（片群）
1.0パーセント	約16万3千訪問	約4万3千訪問
2.0パーセント	約8万1千訪問	約2万1千訪問
3.0パーセント	約5万3千訪問	約1万4千訪問
5.0パーセント	約3万1千訪問	約8千2百訪問

上の数字は、有意水準5パーセント・検出力80パーセント・両側の検定・1対1の配分という一般的な前提で本稿が計算した概算です。前提を変えれば必要な件数も変わります。使い道は精密な計画ではなく、判定できるかどうかの見当をつけることです。桁が合わないと分かったら、細かい改善ではなく、面の役割そのものを変える側に寄せます。

判定の日を、変える前に決める

待ち時間の設計も、切り分けの一部です。決め方は2つあります。必要な件数がたまる日数と、週の切れ目を2回またぐこと。前者は上の表から逆算し、後者は曜日の癖を平らにするためです。どちらか長いほうを採ります。

広告からの流入を含む面では、成果の成立に日数がかかることも織り込みます。代表的な検索広告の媒体では、クリックから成果までを数える期間の既定値は30日です（設定で1日から90日の範囲に変えられます）。つまり変更した翌週に見た数字には、変更前のクリックによる成果が混ざっています。数え方の期間をどう決めるかは別の論点ですが、判定の日は、この期間を1周させた後に置きます。

そして、判定の日は変える前に書いておきます。書いていないと、良く見えたところで止めたくなるからです。途中経過を見ること自体は構いませんが、止める権限を持つ日を1日に固定する。この決まりだけで、偶然の揺れを成果と誤認する事故はかなり減ります。

なぜ固定が要るのかにも理由があります。途中経過を見るたびに判定してよいことにすると、基準は実質的に緩みます。偶然の揺れで差が開く瞬間は、期間が長ければどこかで必ず訪れるからです。見る回数を増やすほど、その瞬間を拾って「効いた」と結論づける確率が上がります。判定は決めた日に1回だけ行い、途中経過は状況の共有にとどめる。途中で打ち切ってよいのは、明らかな不具合が出たときと、事業の都合で続けられなくなったときの2つだけにしておきます。良い方向に振れたから早めに終える、は含めません。

変えてはいけないタイミング

いつ変えるかも、切り分けの精度を左右します。避けるべき時期は4つあります。第1に、計測の改修と同時。数字が動いても、改修のせいか変更のせいか分けられません。第2に、広告の入札の設定を変えた直後。機械が学び直している間は、面の成果も揺れます。

第3に、大きな流入の山の前後です。展示会、ウェビナー、報道での紹介。分母の性質が数日単位で変わるので、この期間を含む比較は成立しません。第4に、期末や決算の時期。判定に事業の都合が混じり、良い結果が採用されやすくなります。

逆に、時期を選ばず直してよいものもあります。明らかな不具合、法令や表示に関わる是正、事実の誤り。これらは効果の測定より優先します。「測れないから直さない」は、この3つには当てはめません。測る対象と、直す対象を混ぜないことが大事です。

切り分けの記録を残す

記録がないと、同じ切り分けを何度もやり直すことになります。担当が替わればなおさらです。残す項目は多くありません。変更した日時、変更した層、変更前の分子と分母と率、判定する日、判定の基準、結果、戻したかどうか。この7つで足ります。

特に効くのは、白と判断した層も残すことです。「先月、計測と母数は白だった」という1行があるだけで、次の切り分けは第2層から始められます。黒だったことだけを記録していると、毎回第0層からやり直すことになります。

記録の要約と、過去の変更との重なりの検出は、AIに任せて構いません。「この3か月で、申し込む面に対して行った変更を時系列で並べて」と頼めば、抜けが見つかります。ただし判定そのものは、記録に書いた人の判断をそのまま残します。後からAIに判定し直させると、当時の前提が失われた状態で結論だけが書き換わります。

切り分けチェックリスト

最後に、着手する前に上から順に潰していく一覧を置きます。上の項目が全部片づくまで、下の項目には進みません。1回目は時間がかかりますが、2回目からは記録があるので半分以下の手間になります。

• 比べる2つの期間で、計測の設定とタグの構成が同じであることを確認した
• 成果の件数が、営業側の記録と桁で矛盾していないことを確認した
• 率だけでなく、分子と分母の実数を並べて出した
• 分母の内訳（新規と再訪、地域、端末、指名の比率）を前期と比べた
• 社内の閲覧と機械による巡回を分母から外した
• 経路を意図で割り、経路ごとの分子・分母・率を出した
• 経路別の合計が全体と一致し、分類できない分の割合を把握した
• 面を役割で分け、役割の境目の通過率を並べた
• 落ちている境目が1つに絞れた（絞れないうちは面の中を触らない）
• 成果の件数と、営業が有効と判断した件数の比率を確認した
• 比べる期間の曜日の構成と、広告の配信条件をそろえた
• 変える前に、判定する日と成功の基準を書いた
• 同時に変えるものが、戻す可能性のないものだけになっている

この一覧を通すと、多くの場合は面に着手する前に原因が見つかります。面まで降りずに終わる回のほうが多い、というのが層で降りる方法の実感です。面を直す作業は重いので、降りずに済むならそのほうが速く成果に届きます。

まとめ

CVRが上がらないとき、最初にやることは改善案を出すことではありません。層を上から降りて、どこで落ちているかを1つに絞ることです。計測、母数、経路、面、後処理。この順で降り、上の層が白と分かるまで下に行かない。順番を守るだけで、直す場所と落ちている場所のずれが消えます。

AIは、この降り方を速くする道具として使えます。層ごとの表を読ませ、自由記述を分類させ、記録の重なりを見つけさせる。ただし読ませる順番は人が決め、原因の断定はさせず、計測と母数の2つは自分の目で見る。この3つを外すと、相関の強い項目が原因の顔をして戻ってきます。

そして、測れない差があることを前提に置いてください。訪問が少ない面で細かい変更を1つずつ試すのは、統計の側から見て成立しません。桁が合わない面は、細部ではなく役割そのものを見直す。切り分けの順番と、判定できるかどうかの見当。この2つが揃った時点で、改善の議論はようやく始められます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。