その差は施策のせいとは限らない｜試せない打ち手の測り方

「展示会に出た翌月に問い合わせが増えたので、効果があったと報告した。あとで本当にそうかと聞かれて答えられなかった」「値上げしたのに売上が落ちなかった。これは値上げが受け入れられたということでいいのか」——数字を報告する立場の人から、繰り返し出てくる困りごとです。数字が動いたことと、その施策のおかげで動いたことは、別のことです。前後で比べて出した差は、施策の効果ではなくその期間に起きたことすべての合計だからです。この記事では、試すことのできない打ち手について、比べる相手をどう用意し、どこまでなら社内に言い切ってよいのかをまとめます。

「試せない打ち手」とは、どういう打ち手か

効果を測る話は、その打ち手を出したり止めたりできるかどうかで、まったく別の話になります。ある層にだけ配信して残りには出さない、といったことができるなら、比べる相手は同時に手に入ります。問題になるのは、それができない打ち手です。

実務でよく挙がるのは四つです。展示会やイベントへの出展。テレビや交通広告のような広く出す認知施策。値上げや価格改定。そして全社一斉に切り替える種類の施策、たとえばサイトの全面刷新や営業体制の変更です。いずれも、一部だけに出して残りを止める、という形にできません。出したか出さなかったかの二択しかなく、しかも同時に両方は起きません。

なぜ試せないのかを、もう少し細かく見ると三つに分かれます。物理的に分けられない場合。展示会は、来場者を半分に割って片方にだけブースを見せることができません。分けると不都合が生じる場合。同じ商品を顧客によって違う値段で売るのは、価格改定では現実的ではありません。そして、分ける単位そのものが存在しない場合。全社の営業体制を半分だけ変える、という運用は成り立ちません。三つのうちどれに当たるかで、代わりに置ける比較の相手が変わります。物理的に分けられないだけなら、地域や事業部の単位で比べられることがあります。

この種の打ち手は、金額が大きく、社内の関心も高いという共通点があります。だからこそ「効果はあったのか」と必ず聞かれます。ところが測り方の準備は、出したり止めたりできる施策よりも薄いことがほとんどです。金額が大きい打ち手ほど、効果の測り方が用意されていないというねじれが、報告の場で立ち往生する原因になります。

前後比較が答えているのは「前後の差」であって「施策の効果」ではない

いちばんよく使われるのが、施策の前と後を比べる方法です。展示会の前月と翌月、値上げの前後3か月。手元のデータだけで出せるので、報告の締め切りには間に合います。ただし、この差が答えているのは「前と後でどれだけ違ったか」であって、「施策がどれだけ寄与したか」ではありません。

前後の差の中身を分解すると、少なくとも三つのものが入っています。施策の効果。同じ期間に起きた別の出来事の影響。そして、施策がなくても進んでいた変化です。この三つは、前後を比べただけでは一切分離できません。分離するには、施策を打たなかった場合の数字が要りますが、それは起きなかった出来事なので、どこかから持ってくるしかありません。

知っておく価値があるのは、前後比較が「間違った方法」ではないという点です。差を確認する手順としては正しい。誤りが生じるのは、その差に「施策のおかげで」という言葉を付けた瞬間です。前後比較の結果は、効果の推定値ではなく、説明すべき現象の記述として扱う。ここを分けておくと、報告の言葉づかいが自然に変わります。

抜け落ちるもの、その一。同じ時期に、別のことが起きていた

最初に混ざるのが、同時期の別要因です。展示会に出た月に、たまたま業界紙に取り上げられていた。値上げの月に、競合が在庫切れを起こしていた。全面刷新の月に、季節的な需要期が重なっていた。どれも、施策とは無関係に数字を動かします。

やっかいなのは、これらが「思い出せば分かる」ものだという点です。分析の技術ではなく、記憶と記録の問題です。3か月経つと、その月に何があったかを誰も正確には覚えていません。営業の担当者が交代していた、価格表を改定していた、問い合わせフォームの項目を減らしていた。効果に効きそうな出来事ほど、担当部署がばらばらで、一箇所に記録されていません。

だから、この工程は分析の前ではなく施策の前に置きます。打つと決めた時点で、同じ期間に予定されている社内の変更を一覧にする。営業、商品、価格、サイト、採用、広報。あとから思い出す作業を、あらかじめ書き出す作業に置き換えるだけで、報告の説得力はかなり変わります。この一覧作りは、後で述べるようにAIに手伝わせやすい工程でもあります。

抜け落ちるもの、その二。打たなくても、その方向に動いていた

二つめは、もともとの趨勢です。会社全体として問い合わせが右肩上がりで伸びている時期に、展示会に出れば、翌月の数字は当然増えます。増えた分のどこまでが展示会の分なのかは、前後を比べても出てきません。

逆方向のほうが、報告としては厄介です。市場全体が縮んでいる時期に打った施策は、前後で比べると横ばいか微減になります。数字だけを見れば「効果なし」ですが、打たなかったらもっと落ちていたのかもしれない。下がっている局面では、前後比較は施策を過小評価します。効いていた施策が、数字の見た目だけで止められることが起こります。

趨勢を見るには、施策の直前だけでなく、できるだけ長く遡った期間を並べる必要があります。直前3か月だけを見ると、その3か月がたまたま強かったのか弱かったのかが分かりません。比べるための線を引くには、施策の前の期間を長く取るほうがよいというのは、後で述べる三つの方法すべてに共通する条件です。

抜け落ちるもの、その三。落ち込んだ直後に打つと、戻った分が効果に見える

三つめが、いちばん気づかれにくいものです。施策は、たいてい数字が悪くなったときに打たれます。問い合わせが落ちたから展示会に出る、受注が止まったから広告を出す。ところが、大きく落ち込んだ次の期間は、何もしなくても平均的な水準に戻りやすいという性質があります。

結果として、落ち込みの直後に打った施策は、実力以上に効いたように見えます。戻った分が、まるごと施策の効果として計上されるからです。これは分析の腕の問題ではなく、施策を打つタイミングの選び方から自動的に生まれる偏りです。悪いときにだけ打つ運用をしている限り、前後比較は常に施策に有利な数字を返します。

この性質は、逆の場面でも働きます。過去最高を記録した直後に打った施策は、実力より低く見えます。判断としては、施策を打った時点の水準が、直前数年の同じ時期と比べてどのあたりにあったかを先に確かめること。落ち込みの底で打っていたなら、効果の数字には必ずその旨を添えます。

• 施策の前月と翌月だけを比べて、差をそのまま効果として報告している
• 数字が落ち込んだ直後に打った施策の効果を、戻った分ごと計上している
• 同じ期間に起きた社内の変更を、あとから思い出しで補おうとしている
• 市場全体が縮んでいる時期に、横ばいだった施策を効果なしと判定している

起点は「打たなかった場合」を、どこから持ってくるか

ここから対処の話に移ります。考え方の起点は一つしかありません。施策を打たなかった場合に数字がどうなっていたかという、起きなかった側の線を用意することです。この線と実際の数字の差が、効果の推定値になります。

起きなかったことは観測できないので、似たものを持ってくるしかありません。持ってくる先は大きく三つです。施策の影響を受けていない別の集団。施策の影響を受けていない別の指標や系列。そして、複数の候補を組み合わせて作った合成物。以下で順に見ていきますが、三つとも「持ってきた相手が施策の影響を受けていない」という一点に依存しています。

この考え方は、公開されている因果効果の推定手法にもそのまま書かれています。ある大手の公開している解説は、無作為に振り分ける実験が使えない場合に、介入がなかった場合の推移を予測する、と目的を説明しています。実験ができないから測れない、ではなく、実験の代わりに何を置くかを決める問題として扱う。この置き換えが、試せない打ち手を扱う出発点になります。

順序として大事なのは、比較の相手を探す作業を、打ち終わったあとの分析工程の中に置かないことです。同じ解説は、どの手法であっても、置いている仮定が満たされているかの確認が有効な結論のために欠かせないと書いています。仮定が満たされているかどうかは、施策を打つ前の状態を見ないと確かめられません。次の流れは、打つと決めた時点から報告までを通した順番です。

作り方その一。影響を受けていない集団を並べ、差の差を見る

最初の型は、施策の対象になっていない集団を用意して、両方の前後の変化を比べる方法です。施策を受けた側の前後の差から、受けていない側の前後の差を引く。引き算を二回するので、差の差と呼ばれます。両方に共通して効いた要因は引き算で消えるため、同時期の別要因や趨勢の影響をある程度落とせます。

使いどころは、施策の対象が部分に限られている場合です。特定の事業部だけで先に始めた、ある製品ラインだけ値上げした、一部の営業所だけ体制を変えた。この場合、残りの部分が比較の相手になります。全社一斉の施策では、この型は使えません。比較の相手が社内に残らないからです。

置いている前提は一つで、施策がなければ両方の集団が同じように動いていたはずだ、というものです。開発分野の解説では、これを「処置を受けなかった場合に、対象の集団が辿ったであろう変化の適切な代役になっている」ことだと説明しています。この前提は観測できないので、成り立ちそうかどうかを説明する責任が、分析する側に残ります。

社内の別の単位を比較の相手に使うときに、いちばん壊れやすいのがこの前提です。展示会で集めた名刺を全社の営業が追いかけたなら、出展していない事業部の数字にも効果が漏れています。値上げした製品から、値上げしていない別の製品に需要が流れたなら、比較の相手の数字は逆向きに動きます。影響が漏れた相手を対照に置くと、効果は本来より小さく、あるいは大きく見えます。社内の相手を使うときは、まず影響が漏れる経路を洗い出す。営業の担当、在庫、価格表、共通の広告枠。漏れる経路が一つでも見つかったら、その単位は候補から外します。

作り方その二。影響を受けていない系列から、打たなかった場合の線を引く

二つめは、時間の並びを使う型です。施策の前の期間で、結果の数字とよく連動している別の系列を見つけておき、その関係を使って、施策の後に「打たなかったらこうなっていたはず」の線を引きます。実際の数字とその線の差が効果の推定値になります。

対照に使える系列の例として、公開されている解説は、施策の影響を受けていない市場の数字、施策を打っていない別のサイトの数字、検索の関心度を表す公開データなどを挙げています。結果の数字そのものではなく、結果とよく連動する別の何かを使うところが、この型の要点です。展示会に出た事業部の問い合わせ数に対して、出ていない事業部の問い合わせ数や、業界全体の検索の動きを対照に置く、といった形になります。

条件も明記されています。対照の系列が施策の前の期間で結果をよく説明できていること、そして対照の系列自体が施策の影響を受けていないこと。加えて、施策の前に成り立っていた両者の関係が、施策の後も安定していることが要ります。前の期間の当てはまりが悪ければ、後の期間の線はただの当て推量になるので、当てはまりの確認は必ず先に行います。

運用上の注意がもう一つあります。関係が安定していることを前提にしている以上、施策から時間が経つほど、引いた線の確からしさは落ちていきます。3か月先の「打たなかった場合」は、1週間先のそれより当て推量に近い。だから、効果を見る窓の長さは、線を引く前に決めておきます。展示会なら商談の周期に合わせて何か月、値上げなら価格が浸透するまで何か月、と先に宣言する。結果を見てから期間を延ばしたり縮めたりすると、都合のよい窓を選んだだけの数字になります。

作り方その三。候補を組み合わせて、似た一本を作る

三つめは、ちょうどよい比較相手が一つも見つからないときの型です。複数の候補に重みを付けて足し合わせ、施策の前の期間で対象とよく似た動きをする合成物を作ります。作った合成物のその後の動きが、打たなかった場合の線になります。

向いているのは、対象が一つしかない場面です。ある一つの地域だけで値上げした、ある一つの製品だけ広告を打った。単独の比較相手を探すと、水準が違う、季節の出方が違う、規模が違う、と必ずどこかがずれます。複数を混ぜることで、そのずれを打ち消しにいく発想です。

この型でとくに注意が要るのは、候補のプールに施策の影響を受けたものを混ぜないことです。混ぜると、比較の相手の側にも効果が乗ってしまい、効果は小さく見えます。もう一つ、施策の前の期間が短いと、似せること自体が簡単になりすぎます。短い期間に合わせただけの合成物は、その後の期間ではあっさり外れます。前の期間はできるだけ長く取ります。

見落とされやすいのが、候補の数です。混ぜる材料が2つや3つしかないと、対象に似せきれません。似せきれていない合成物を使うと、その残差がまるごと効果として出てきます。逆に、候補をむやみに増やして無理やり似せにいくのも危険で、たまたま前の期間だけ似ていた候補が混ざります。前の期間の似方が良すぎるときは、なぜ似ているのかを言葉で説明できるかを確かめる。理由が言えない一致は、後の期間で続かないことが多いからです。

三つの使い分けと、どれも作れないとき

三つの型は、優劣ではなく、手元にあるものと打ち手の形で決まります。判断の順序は、対象が部分に限られているか、対照に使える系列があるか、対象が単独か、の順に見ていくと迷いません。

手元の状況	向いている型	満たせないと成り立たない前提
施策の対象が一部の事業部・地域・製品に限られている	影響を受けていない側と、差の差を見る	施策がなければ両方が同じように動いていたこと
対象は全体だが、連動する別の系列が手に入る	対照の系列から、打たなかった場合の線を引く	対照の系列が施策の影響を受けておらず、関係が安定していること
対象が単独で、ちょうどよい比較相手が一つもない	複数の候補を組み合わせて似た一本を作る	候補のプールに影響を受けたものが混ざっていないこと
全社一斉で、社内にも社外にも対照が残らない	効果の断定はしない。前後の記述と限界を並べる	（比較相手が作れないため、効果の推定はできない）

いちばん下の行が、実務でいちばん多い状況です。全社一斉の刷新、会社全体の値上げ、全部門に効く体制変更。ここで無理に数字を作ると、後で必ず崩れます。この場合の正しい報告は、効果の推定値ではなく、前後の記述と、そう読めない理由の一覧です。数字を出さないことが、この場面での誠実な答えになります。

どの型にも共通する前提と、「打つ前に差がなかった」の読み方

三つの型に共通する前提は、比較の相手が施策の影響を受けていないことです。公開されている解説は、この前提が崩れた場合に何が起きるかまで書いています。真の効果を過小に見積もることも過大に見積もることもあり、さらに実際には効果がないのに効果があったと結論づけてしまう可能性がある、と明記されています。

そこで多くの人が行うのが、施策を打つ前の期間で、対象と比較相手に差がなかったことを確かめる作業です。これは有用ですが、決定的な証拠にはなりません。開発分野の解説は、この点をはっきり書いています。前の期間で差が見つからなかったことを、前提が成り立っている証明と混同してはならない、という警告です。

理由は、この種の確認が見逃しやすいことにあります。同じ解説は、確認の感度が高くないため、見逃した違反の大きさが、推定した効果と同じくらいになりうると指摘しています。推奨されているのは、確認を一つで済ませないことです。水準そのものが似ているかを見る、前の期間をできるだけ長く遡る、群の構成や他の要因を比べる、そのうえで前提が成り立つ理由を言葉で説明する。数字の確認と、言葉での説明を両方置くのが、この分野の作法になっています。

比べる相手の候補出しと、同時期に起きたことの洗い出しをAIに寄せる

ここまでの工程のうち、AIに寄せられるものと寄せてはいけないものがはっきり分かれます。寄せられるのは、候補を広く出す作業と、条件を突き合わせる作業です。

比較相手の候補出しは、その典型です。対象の事業部や地域や製品の特徴を書き出して渡し、社内の他の単位から条件の近いものを挙げさせる。規模、季節の出方、顧客の構成、価格帯、営業の体制。人が候補を出すと、思いつく3つか4つで止まります。機械に出させると、検討の土俵に上がっていなかった候補が混ざります。そのうえで、条件が近い順に並べ替えさせ、近くない理由も一緒に書かせます。

もう一つが、同じ期間に何が起きていたかの洗い出しです。営業の活動記録、社内の連絡、価格表の改定履歴、サイトの更新履歴、採用や異動の記録。形式の違う記録を渡して、対象の期間に起きた出来事を日付順に並べさせる。頼み方は「何か影響しそうなことを教えて」ではなく、この期間に日付の入った変更が記録されている項目をすべて挙げるのように、探す対象を先に固定します。意見ではなく一覧が返ってくる形にすると、人が確かめられます。

因果の断定はAIにさせない。出させるのは候補と反証の材料

ここが、この記事でいちばん大事な線引きです。データを渡して「この施策に効果はありましたか」と聞けば、AIはもっともらしい答えを返します。その答えは、根拠の強さと無関係に断定の形で返ってきます。「AIが原因だと言っている」を根拠にした報告は、根拠がないのと同じです。

代わりに出させるのは、二つです。一つは候補、つまり比較に使えそうな相手と、同時期に起きていた出来事の一覧。もう一つは反証の材料、つまり「この結論が間違っているとしたら、どの前提が崩れている場合か」の列挙です。後者は、頼み方を変えるだけで出てきます。効果があったと言えるかではなく、効果がなかったとしても同じ数字が出る筋道を挙げてください、と頼みます。

この頼み方には副次的な効果があります。返ってきた筋道が、そのまま報告資料の限界の欄になります。人が書くと、自分の結論に不利な話は抜けがちです。機械に列挙させると、抜けにくくなる。結論はAIに出させず、結論を疑う材料をAIに出させる。この順番を守るだけで、報告の質は上がり、後から覆るリスクは下がります。

• AIに任せてよい：比較先の候補出し、条件の突き合わせ、同時期の出来事の洗い出し、反証の筋道の列挙
• 人が決める：どの比較相手を採用するか、前提が成り立つと考える理由、効果と言い切る範囲
• 出力に必ず添えさせる：候補を選んだ条件と、条件が近くない点
• 「AIが原因だと言った」は根拠にならない。根拠は前提と、その前提が成り立つ理由

社内説明で、言い切れる範囲と留保する範囲を書き分ける

最後は報告の言葉づかいです。ここまでの内容は、突き詰めると「どこまで言ってよいか」の問題に着地します。書き分けの基準は単純で、比較の相手を用意できたかどうかで言葉が変わります。

比較の相手を用意できた場合は、効果の推定値を出したうえで、その推定が成り立つ前提を必ず併記します。「対照に置いた事業部が施策の影響を受けていないという前提のもとで、問い合わせ数はおよそこれだけ上振れした」という形です。前提を書かない推定値は、書いた瞬間に一人歩きします。翌年の予算の会議で、前提が消えた数字だけが根拠として使われることになります。

比較の相手を用意できなかった場合は、効果の数字を出しません。代わりに三つを書きます。前後で何がどれだけ動いたかという記述。同じ期間に起きていた出来事の一覧。そして、この差を施策の効果と読めない理由。効果は不明だが、判断に必要な材料はそろっている、という報告の形があることを、上長と先に握っておくと通しやすくなります。数字を出せないことと、仕事をしていないことは別だという合意を、報告の前に作っておくのが実務の要点です。

書き方の細部も、誤読の量を左右します。推定値を一点の数字で書くと、それが実測値のように扱われます。幅で書くか、少なくとも桁を丸めて書くほうが、性質に合っています。「およそ1割から2割の上振れ」と書けば、読む側も前提つきの推定だと受け取ります。丸めるのは自信のなさではなく、数字の性質に合わせた表記です。あわせて、その推定が崩れる条件を1行添える。「対照に置いた事業部が展示会の名刺を追っていた場合、この数字は過小です」と書いておけば、後から前提が違ったと分かったときに、報告そのものを撤回せずに済みます。

確認する項目の一覧

試せない打ち手の効果を報告する前に、次の項目を上から順に確かめます。すべてに答えられない場合、答えられなかった項目がそのまま報告の限界の欄になります。

• 施策の対象は全体か、一部か。一部なら、残りの部分は比較に使えるか
• 施策を打った時点の水準は、直前数年の同じ時期と比べてどのあたりだったか
• 施策の前の期間を、どこまで遡ってデータを並べたか
• 同じ期間に、社内で他にどんな変更があったか（営業・商品・価格・サイト・体制）
• 同じ期間に、社外でどんな出来事があったか（競合・季節・報道・制度）
• 比較に置いた相手は、施策の影響をまったく受けていないと言えるか
• 施策の前の期間で、比較相手と対象は似た動きをしていたか
• その「似ていた」は、水準も似ているのか、変化の向きだけが似ているのか
• この結論が間違っているとしたら、どの前提が崩れている場合か
• 報告に書く数字には、前提が併記されているか

この一覧は、報告の直前ではなく、施策を打つと決めた時点で一度目を通すものです。上の四つは、あとから取り戻せない情報を含んでいるからです。比較相手も、同時期の記録も、施策が終わってからでは作れません。

まとめ

前後で比べて出した差は、施策の効果ではなく、その期間に起きたことすべての合計です。混ざっているのは、同じ時期の別要因、打たなくても進んでいた趨勢、そして落ち込みからの戻りの三つ。分けるには、打たなかった場合の線をどこかから持ってくるしかありません。持ってくる先は、影響を受けていない集団、連動する別の系列、複数の候補を混ぜた合成物の三つで、どれも「その相手が施策の影響を受けていない」という一点に乗っています。前提が崩れれば、効果がないのに効果があったという結論まで出てしまいます。比較先の候補出しと同時期の出来事の洗い出しはAIに寄せてよい工程ですが、因果の断定はさせません。出させるのは候補と反証の材料で、結論を書くのは人です。そして比較の相手を作れない打ち手では、効果の数字を出さないという選択が正しい答えになります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。