施策の効果を見極める4つの物差し|早すぎる判断を防ぐ

施策の効果を見極める4つの物差し|早すぎる判断を防ぐ

「始めて3日で数字が悪いから、設定を触りたいという声が出ている」「毎日数字を見ていると、どうしても早く動きたくなる」——日次で数字を追っている部門にある葛藤です。判断の早さは、改善の速さではありません。触るたびに仕組みが覚え直すため、効果が出る前に評価を打ち切ることになります。この記事では、いつ判断するかを決めるための4つの物差しと、施策ごとの目安を整理します。


カメ先生カメ先生

施策の良し悪しはね、早く見極めるほど損が減ると思われがちだが、早すぎる判断はその効果そのものを消してしまうんだ。


カメ子カメ子

消えてしまうというのは、何が起きているのでしょうか。


カメ先生カメ先生

自動で調整する仕組みには、条件を覚え直す期間がある。触ればその期間がまた最初から始まる。3日ごとに触っていれば、覚え終わった状態には一度もたどり着かない。


カメ子カメ子

触ること自体が結果を遠ざけるのですね。判断の物差しから見ていきます。


この記事のポイント
  • 判断の時期は4つの物差しで決まる。データの確定、母数、慣れる期間、検討の長さ
  • 広告の自動の調整は最大2週間から3週間の慣れる期間がある。この間は触らない
  • 施策ごとに判断の時期を先に決めて記録する。始めてから決めると感情が入る

データ分析にAIを活かす第一歩、まずは導入から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

目次

3日で判断してしまう構図

施策を始めた直後は、数字を頻繁に見ます。気になるのは当然のことです。

問題は、見た数字で判断してしまうことです。見ることと判断することは別です。

日次で見ていると、良い日と悪い日の差が目に入ります。差が気になります。

悪い日が2日続くと、何かを変えたくなります。ここで手が動きます。

しかし変えると、それまでの数日分が比較の材料として使えなくなります。

条件が変わったため、前後を比べられません。振り出しに戻ります。

この繰り返しで、いつまでも効果が分からない状態になります。

しかも、変えるたびに仕組みの側の慣れる期間が延びます。触るほど遠のきます

なぜ早く判断したくなるのか

早く判断したくなる理由には、構造的なものがあります。個人の性格ではありません。

1つは、社内から早く結果を求められることです。週の報告に何かを書く必要があります

書くことがないと、動いていないように見えます。だから何かを変えて報告します。

2つは、費用が出ていることです。広告なら、毎日費用が発生しています。

無駄になっているのではないかという不安が、判断を急がせます。

3つは、判断の時期を決めていないことです。決めていないため、いつでも判断できます。

この3つのうち、最も直しやすいのが3つ目です。以下で扱います。

物差し1:データが確定する時間

1つ目の物差しは、そもそも数字がそろうまでの時間です。ここが最初の制約になります。

多くの数字は、その日のうちに確定しません。後から増えるものがあります

広告の成果は、確定までに数日かかることがあります。理由は複数あります。

無効な通信の遡って除く処理、遅れて発生する成果、期間中の調整などが含まれます。

さらに、経路をどう数えるかによって、反映の時期が変わることもあります。

つまり、当日や翌日の数字は途中の値です。判断の材料にはなりません。

メールの反応も同様です。送った直後だけでは、開封の全体像が分かりません。

送信から数日の間に反応は続きます。当日の数字は一部にすぎません。

したがって、最短でも数日は待つ必要があります。これが1つ目の下限です。

何日待てばよいかを調べる

待つ日数は、自社で調べられます。過去のデータを使います。

方法は単純です。同じ期間の数字を、日をずらして2回記録します

たとえば先週の月曜の数字を、火曜と翌週の月曜に記録して比べます。

差がなければ、その期間はもう確定しています。差があれば、まだ増えています。

この確認を数回行えば、自社での確定までの日数が分かります。

分かったら記録に残します。以降は、その日数を待ってから判断します。

物差し2:判断に足る件数

2つ目の物差しは、母数です。件数が少なければ、期間を延ばしても判断できません。

BtoBでは、この制約が最も厳しくなります。1か月の成果が数件という場合があります

数件では、良し悪しの判断ができません。1件の増減で割合が大きく動きます。

たとえば3件から2件に減った場合、割合では3割の減少になります。

しかし実態としては、1件の違いです。偶然の範囲に収まります。

この状態で判断すると、偶然に反応して施策を変えることになります。

したがって、必要な件数がたまるまで待ちます。期間ではなく件数で区切ります。

件数の目安は、判断の内容によって変わります。次項で扱います。

必要な件数の考え方

必要な件数は、何を判断したいかで変わります。3つに分けて考えます。

止めるか続けるかの判断なら、比較的少ない件数で足ります。大きな差を見ます

目安として、20件から30件たまれば傾向は見えます。ゼロが続くなら判断できます。

一方、2つの案のどちらが良いかを比べる判断は、より多くの件数が必要です。

差が小さいほど、多くの件数が要ります。数十件では区別が付きません。

設定の細かい調整の判断は、さらに多くを要します。BtoBでは現実的でないことがあります。

この場合は、数字ではなく理屈で判断する形に切り替えます。測れないことを認めます

物差し3:仕組みが慣れる期間

3つ目の物差しは、仕組みの側の事情です。自動で調整される仕組みがある場合に効きます。

広告の自動の調整には、慣れる期間があります。最大で2週間から3週間とされます。

この期間の長さは、得られた成果の件数と、成果までの周期の長さで変わります。

件数が少ないと、慣れるまでに時間がかかります。BtoBでは長引きやすくなります。

目標の単価を高く置きすぎると、件数が少なくなり、期間がさらに延びます。

重要なのは、この期間中に設定を触らないことです。触ると期間が始めからやり直しになります。

触ってはいけない設定は、入札の方法、目標の値、対象の範囲などです。

この期間を知らないと、慣れる前の数字で判断して触り、また慣れる期間に入ります。

結果として、慣れた状態の数字を一度も見ないまま止めることになります。

触ってよいものと触ってはいけないもの

慣れる期間中に何を触ってよいかを整理しておきます。すべてが禁止ではありません。

触ってはいけないのは、調整の仕組みに直接関わる設定です。入札と目標と対象です。

一方、広告の文面の追加や、除外する語の追加は、比較的影響が小さくなります。

明らかに関係のない語で費用が出ているなら、除外は行って構いません。

ただし、大量に変更すると影響が出ます。少数ずつにとどめます。

判断に迷う場合は、記録だけ残して期間の終了まで待ちます。

記録があれば、期間の終了後にまとめて対処できます。急いで触る必要はありません。

物差し4:検討の長さ

4つ目の物差しは、買う側の検討にかかる時間です。ここがBtoBで最も重要になります。

検討が数か月に及ぶ商材では、施策の効果が売上に現れるまで数か月かかります。

3か月かかる商材で、1か月後に売上で判断することはできません

この場合、途中の指標で判断します。問い合わせの件数、商談の件数などです。

途中の指標と最終の成果の関係が分かっていれば、早い段階で判断できます。

関係が分かっていない場合は、まずその関係を測ることから始めます。

受注までの期間を測る作業です。過去の案件を並べれば分かります。

この数字を持っていない会社が多くあります。持っていると判断が速くなります。

持っていないと、最終の成果を待つしかなくなります

4つを組み合わせて決める

4つの物差しを組み合わせて、判断の時期を決めます。最も遅いものに合わせます。

物差し見るもの決まること
データの確定数字が増え止まる日数判断の最短の日数
母数判断に足る件数件数がたまるまでの期間
慣れる期間仕組みが安定する期間触ってはいけない期間
検討の長さ受注までの期間最終の成果を見る時期

4つのうち最も長いものが、判断の時期になります。短いものに合わせません。

たとえばデータの確定が3日、母数が3週間、慣れる期間が2週間なら、3週間で判断します。

検討の長さが3か月なら、途中の指標で3週間、最終の成果は3か月後に見ます。

この2段構えにすると、早い判断と正しい判断を両立できます。

途中の指標で明らかに悪ければ、3か月を待たずに止める判断もできます。

施策ごとの目安

実務でよく使う施策について、目安を並べておきます。自社の事情で調整します。

広告の新規の設定は、慣れる期間を含めて3週間から4週間を見ます。

広告の文面の差し替えは、件数がたまるまで待ちます。2週間程度が目安です。

メールの件名の比較は、送信から1週間で反応がそろいます。件数があれば判断できます。

記事の施策は、検索からの流入が動くまで数か月かかります。3か月から6か月を見ます。

フォームの改善は、訪問の量によって変わります。件数がたまるまで待ちます。

イベントの施策は、1回では判断できません。3回分を並べて見ます。

これらの目安は、始める前に決めて記録します。後から決めると都合の良い時期を選びます。

記事の施策は特に長い

記事の施策は、判断の時期が最も長くなります。ここを理解しておく必要があります。

公開してから検索に反映され、順位が動き、流入が増える。段階が多くあります

それぞれに時間がかかるため、合計で数か月になります。1か月では何も分かりません。

したがって、途中の指標を持つことが特に重要になります。

見るのは、掲載された回数、平均の順位、対象の語での表示です。流入より先に動きます。

これらが動いていれば、方向は合っています。流入はその後についてきます。

動いていなければ、内容か構成に問題があります。早く手を打てます。

判断の時期を決める手順

判断の時期の決め方を手順にします。施策を始める前に行います。

STEP1
何を判断するのかを1文で書く

続けるか止めるか、2つの案のどちらか、設定をどう変えるか。判断の内容で必要な件数が変わります。

STEP2
4つの物差しをそれぞれ当てる

データの確定、母数、慣れる期間、検討の長さを順に確かめます。数字で書き出します。

STEP3
最も長いものを判断の時期にする

4つのうち最長のものに合わせます。短いものに合わせると判断を誤ります。

STEP4
途中で見る指標を決める

最終の判断まで長い場合、途中で見る指標を決めます。悪ければ早く止められます。

STEP5
時期と指標を記録して共有する

始める前に記録します。社内に共有しておけば、途中で判断を求められても説明できます。

5つ目が最も効きます。共有しておくと、早い判断を求められません。

「3週間後に判断します」と伝えてあれば、途中で問われても答えられます。

伝えていないと、毎週の報告で判断を求められます。ここが早い判断の出どころです。

途中で見る指標の選び方

途中で見る指標は、選び方に注意が必要です。何でもよいわけではありません。

選ぶ条件は2つあります。早く動くことと、最終の成果と関係があることです。

早く動くだけの指標を見ると、無関係な変化に反応します

たとえば表示された回数は早く動きますが、成果とは関係が薄い場合があります。

関係があるかどうかは、過去のデータで確かめられます。並べて傾向を見ます。

関係が確かめられた指標だけを、途中の指標として使います。

確かめられない場合は、途中の指標を持たない選択もあります。最終まで待ちます。

誤った指標で判断するより、待つほうが安全です。指標がないことを認めます

よく使われる途中の指標

実務でよく使われる途中の指標を挙げておきます。参考として使えます。

広告では、費用あたりの問い合わせの件数です。売上より2か月から3か月早く動きます

記事では、対象の語での表示された回数と平均の順位です。流入より先に動きます。

メールでは、開封とその先の遷移の割合です。目安として開封は15%から25%程度とされます。

イベントでは、申し込みに対する参加の割合です。当日の運営の質が現れます。

これらはいずれも、最終の成果より早く動きます。ただし関係の強さは自社で確かめます。

同じ指標でも、商材によって成果との結び付きが違います。過去のデータで確かめます。

やりがちな失敗

判断の時期に関する失敗を挙げます。どれも、決めていないことから生じます。

  • 日次の数字で判断する:確定していない値で判断し、偶然に反応する
  • 慣れる期間中に設定を触る:期間がやり直しになり、安定した数字を見られない
  • 件数が足りないまま2つの案を比べる:偶然の差を実力の差と誤る
  • 始めてから判断の時期を決める:都合の良い時期を選んでしまう
  • 最終の成果だけを見る:数か月かかる商材では手遅れになる
  • 途中の指標を成果と確かめずに使う:無関係な変化に反応する

4つ目が最も多い失敗です。始めてから決めると、判断が恣意的になります。

良い数字が出た時点で「効果があった」と結論する形になりがちです。

始める前に決めておけば、この歪みが避けられます。手間は5分です。

途中の数字を見てはいけないわけではない

誤解を避けるために付け加えます。途中の数字を見ること自体は問題ありません。

見るべきなのは、異常が起きていないかです。異常の検知は毎日行います

費用が想定を大きく超えている、成果が完全にゼロになっている、といった状態です。

これらは判断の話ではなく、事故の検知です。早く気づく必要があります。

分けるべきは、事故の検知と効果の判断です。前者は毎日、後者は決めた時期に行います。

この2つを混ぜると、事故のない通常の変動に反応することになります。

社内への説明の仕方

判断の時期を守るには、社内の理解が必要です。説明の仕方を整理します。

説明の中心は、早く判断すると何が起きるかです。損失を具体的に示します

慣れる期間中に触れば、期間がやり直しになり、費用が余計にかかります。

件数が足りないまま比べれば、誤った案を選び、その後の施策も誤ります。

この損失を数字で示せると、待つことの意味が伝わります。

加えて、待っている間に何を見ているかを示します。何もしていないわけではありません。

異常の検知は毎日行っていること、途中の指標を追っていることを伝えます。

この2つを伝えれば、放置しているという誤解を避けられます。

報告の様式に、判断の時期を書く欄を作るとさらに定着します。

生成AIの使いどころ

この領域で生成AIが役に立つ部分と、任せない部分を分けます。

役に立つのは、必要な件数の見積もりです。判断の内容から必要な母数を計算できます

差の大きさと必要な件数の関係は、決まった計算で出せます。ここは任せられます。

また、過去のデータから途中の指標と成果の関係を調べる作業にも使えます。

一方で、自社の検討の長さやデータの確定までの日数は任せません。実測が必要です。

これらは自社の事情に依存します。一般的な目安を当てると外れます。

また、判断そのものも任せません。数字の読み方には事業の文脈が関わります。

使いどころは計算と調査に絞ります。判断の材料を作る役として使います。

もう1つ有効なのが、社内への説明の文面を整える用途です。

待つ理由を数字で示す説明は、書き方で伝わり方が変わります

要点を渡して、短くまとめてもらう形が使えます。長い説明は読まれません。

ただし、根拠となる数字は自分で確かめます。数字の出どころは手元に残します

記録として残す形

決めた判断の時期は、記録として残します。形を決めておきます。

  • 施策の名前と開始した日
  • 何を判断するのかを1文で書いたもの
  • 4つの物差しをそれぞれ当てた結果の日数と件数
  • 判断の時期として決めた日
  • 途中で見る指標と、その確認の頻度
  • 異常と判断する条件。ここに当たれば即座に止める

6つ目を書いておくことが安全につながります。待つことと放置することは違います。

費用の上限、成果がゼロの日数など、即座に止める条件を先に決めます。

この条件があれば、待つ判断に安心して従えます。歯止めがあるためです。

  • 判断の時期は施策を始める前に決める。始めてから決めると都合の良い時期を選ぶ
  • 異常の検知と効果の判断は分ける。前者は毎日、後者は決めた時期に行う

この記録は1枚に収まります。施策ごとに1枚を作る形で足ります。

判断の後にすること

決めた時期が来たら、判断します。その後の進め方も決めておきます。

判断は3つに分かれます。続ける、変える、止めるのいずれかです。

続ける場合も、次の判断の時期を決めます。放置に変わらないためです。

変える場合は、何を変えたかを記録し、また4つの物差しを当て直します。

慣れる期間のある仕組みなら、変えた時点から期間が始まります。時期も延びます。

止める場合は、なぜ止めたかを記録します。同じ施策を後で検討するときに使えます。

記録がないと、数年後に同じ施策を同じ形で試すことになります。

止めた理由の記録は、次の担当者への引き継ぎとしても働きます。

止めた記録に書くこと

止めた記録には、何を書くかも決めておきます。後で使える形にします。

書くのは、施策の内容、期間、投じた費用、得られた結果、止めた理由の5つです。

止めた理由は、条件として書きます。「合わなかった」では次に使えません。

「対象の企業数が想定の3分の1だった」といった形にします。条件が変われば再検討できます。

条件として書いておくと、数年後に状況が変わったときに判断できます。

感想として書くと、二度と検討されないか、逆に何も学ばず再挑戦することになります。

この記録は、施策の一覧として1か所にまとめます。判断の履歴が資産になります

よくある質問

上司から3日で結果を求められる場合はどうしますか

始める前に判断の時期を伝えて合意を取ってください。「3週間後に判断します」と先に伝えておけば、途中で問われても答えられます。加えて、異常と判断する条件も伝えます。歯止めがあることが分かれば、待つ判断への理解が得られやすくなります。

件数が少なすぎて、いつまでも判断できません

その場合は、数字で判断することを諦める選択があります。BtoBでは件数が数件しか出ない施策があります。数字で比べられないなら、理屈で判断してください。読み手の立場から見て合理的かどうか、営業の現場の声と合っているかどうかで決めます。

慣れる期間はどうやって分かりますか

広告の管理画面に、学習の状態が表示されます。この表示が消えれば期間は終わっています。目安として最大で2週間から3週間ですが、成果の件数が少ないと長引きます。表示を確かめてから判断してください。表示がある間は設定を触りません。

途中の指標が最終の成果と関係があるか、どう確かめますか

過去のデータを並べて傾向を見ます。途中の指標が上がった時期に、数か月後の成果も上がっているかを確かめます。関係が見えなければ、その指標は使えません。確かめられない場合は、途中の指標を持たずに最終まで待つほうが安全です。

複数の施策を同時に始めた場合、判断できますか

難しくなります。効果がどちらのものか切り分けられません。可能であれば、時期をずらして始めてください。同時に始める必要がある場合は、対象を分けて、施策ごとに別の対象に当てる形にします。それも難しいなら、合計での効果として判断します。

まとめ

施策の効果をいつ判断するかは、4つの物差しで決まります。データが確定する時間、判断に足る件数、仕組みが慣れる期間、そして検討の長さです。この4つのうち最も長いものが、判断の時期になります。広告の自動の調整には最大2週間から3週間の慣れる期間があり、この間に設定を触ると期間がやり直しになります。そして最も重要なのは、判断の時期を始める前に決めて社内に共有することです。始めてから決めると、都合の良い時期を選んでしまいます。まずは次の施策で、何を判断するのかを1文で書き出すところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

データ分析にAIを活かす第一歩、まずは導入から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

運営会社:株式会社デボノ

目次