地域を分けて広告の効果を測る方法｜止めてみて差を見る

「広告からの申込は月に30件あるが、止めても全部が消えるわけではないと言われた」「上乗せの分だけを見たいが、どう測ればよいのか分からない」——予算の継続を説明する場面で突きつけられる問いです。広告の成果は、記録された件数がそのまま効果というわけではありません。広告がなくても来ていた分を引いた残りが、本当の上乗せです。この記事では、地域を分けて上乗せを測る手順を整理します。

広告を止めたら売上は減るのか

この問いは、予算の見直しのたびに出てきます。広告の担当者は減ると答え、経営の側は減らないのではと疑う。どちらも根拠を持っていないため、議論が水掛け論になります。毎年同じ議論を繰り返している会社は少なくありません。

広告の管理の画面には、申込の件数が表示されます。この数字は、広告を経由して申込に至った件数です。しかし、経由したことと、広告があったから申込に至ったことは同じではありません。もともと申し込むつもりだった人も、広告をクリックすることがあります。

典型的なのが、社名で検索した人です。すでに自社を知っていて、サイトを探すために社名を入れる。そこに広告が出ていれば、上のほうにある広告をクリックします。広告がなければ、下の検索の結果をクリックしていたはずです。

この場合、広告の費用を払って本来無料で来ていた人を連れてきたことになります。広告の管理の画面では成果として記録されます。しかし会社全体で見れば、上乗せはゼロです。この構造が、指標だけを見ていても分からない部分です。

逆の見落としもあります。広告を見たが、その場ではクリックせず、後日に検索して申し込んだ人。この人は広告の成果として記録されません。つまり、指標は上に振れる部分と下に振れる部分の両方を持っています。どちらが大きいかは、測らないと分かりません。

上乗せという考え方

広告があった場合の成果から、広告がなかった場合の成果を引いた差。これが上乗せの効果で、判断に使うべき数字です。考え方は単純ですが、測るのが難しい。広告がなかった場合を観測できないからです。

同じ期間に、同じ相手に対して、広告を出した場合と出さなかった場合の両方は起こりません。だから、代わりのものを用意します。広告を出さない集団を作り、その成果を比較の基準にします。これが検証の基本の考え方です。

比較の基準を作る方法は、いくつかあります。地域で分ける。時期で分ける。利用者の集団で分ける。どの方法を使うかは、扱っている商材と広告の仕組みによって決まります。

法人向けの事業では、地域で分ける方法が最も実行しやすいものです。広告の配信の設定で地域を指定できるため、設定を変えるだけで検証を始められます。特別な道具も、開発の作業も要りません。

測った上乗せは、費用と比べます。上乗せの件数で費用を割れば、本当の1件あたりの費用が出ます。管理の画面に出ている数字より、たいてい高い数字になります。この数字が、他の施策と比べるための共通の土台になります。

止めてみるという検証

最も単純な方法は、止めてみることです。一定の期間、広告を止め、申込の件数がどう変わるかを見る。止めた期間の減少が、上乗せの分にあたります。設定を変えるだけなので、誰でも実行できます。

ただし、この方法には弱点があります。止めた期間に、他の要因が同時に動いている可能性があるからです。季節の影響、他の施策、競合の動き、業界の出来事。

たとえば8月に止めて申込が減ったとします。しかし8月は毎年減る月かもしれません。止めた影響と季節の影響を、分けることができません。この弱点があるため、単純な停止だけでは説明力が足りません。

そこで、同じ期間の中で分ける方法を使います。一部の地域では出し続け、一部の地域では止める。両方が同じ期間なので、季節の影響は両方に同じようにかかります。

この設計にすると、季節や業界の要因を打ち消せます。残った差が、広告の影響だと言いやすくなります。完全ではありませんが、単純な停止よりはるかに説明しやすい結果になります。

地域を分けるという設計

地域を分けるとき、無作為に分けるのが原則です。しかし、法人向けの事業では地域ごとの事業の規模が大きく違うことが問題になります。首都圏と地方では、見込み客の数が桁違いです。

だから、規模を揃える工夫が必要になります。都道府県を単純に半分に分けるのではなく、過去の申込の件数が近い組み合わせを作る。両方の集団の過去の件数が近いことが、比較の前提になります。過去の数字を見て、組み合わせを決めます。

実務では、都市の単位で分ける方法が使われます。似た規模の都市を対にして、片方を出す側、片方を止める側にする。対を複数作れば、1つの対の特殊な事情の影響が薄まります。

首都圏を止める判断は、多くの会社で通りません。売上の大半を占める地域だからです。その場合は、首都圏を除いた地域だけで検証します。結果を首都圏に当てはめる際には、同じ傾向とは限らないことを添えて報告します。

地域の指定の設定も確かめます。所在地で判定するのか、関心のある地域で判定するのかで、配信の範囲が変わります。検証の前に、設定の意味を確かめておかないと、止めたはずの地域に配信が続くことがあります。

設計の要素	望ましい形	妥協するとき
集団の分け方	過去の件数が近い対を複数作る	首都圏を除いた地域だけで行う
期間	検討の長さの2倍以上	2週間から4週間
測る指標	申込と商談と受注	申込だけ
同時に動かす施策	動かさない	動かした内容を記録する
繰り返し	対を入れ替えて2回	1回で判断し留保を添える

期間とサンプルの大きさ

期間の目安は2週間から4週間とされます。しかし、法人向けの事業では短すぎることがあります。検討の期間が3か月かかる商材なら、2週間では影響が現れません。止めた影響が申込に出るまでに、時間差があります。

目安としては、検討の期間の2倍以上を取るのが安全です。検討が1か月なら2か月、3か月なら半年。長くなるほど、他の要因が混ざる危険は増えます。この兼ね合いが、法人向けの検証の難しさです。

件数の少なさも問題になります。月に10件の申込しかない場合、地域を半分に分けると片方は5件です。5件と3件の差に意味があるかは、判断できません。偶然の揺れの範囲に収まってしまいます。

件数が少ない場合の対策は3つあります。期間を長く取る。申込より手前の指標を使う。検証そのものを諦めて、別の方法で判断する。無理に検証して、意味のない差から結論を出すのが最も危険です。

手前の指標とは、資料の取得、価格のページの閲覧、問い合わせのページへの到達などです。件数が多いため、差が見えやすくなります。ただし、申込との関係を確かめておく必要があります。手前の指標が増えても、申込が増えなければ意味がありません。

何を測るか

測る指標は、事前に決めます。検証が終わってから差が出た指標を探すのは、正しい手順ではありません。差が出た指標を後から選べば、必ず何かは差が出ます。偶然の差を効果と呼ぶことになります。

主に見る指標を1つ決め、補助的に見る指標を2つか3つ決めます。主に見る指標は、事業の成果に最も近いものにします。法人向けなら、申込ではなく商談の件数が望ましいものです。ただし、商談は件数が少なく、記録の遅れもあります。

記録の遅れは、検証の期間の設定に影響します。営業の記録が2週間遅れて入る仕組みなら、検証の期間の終了から2週間待って集計します。この待ち時間も、計画に含めます。

費用の側も記録します。止めた地域で使わなかった費用が、他の地域に回っていないかを確かめます。予算が共有されていると、止めた分が別の地域で使われます。これでは検証になりません。地域ごとに予算を分けておく必要があります。

測る前に、記録が取れる状態かを確かめます。地域ごとに申込を分けて数えられるか。商談や受注に地域の情報が入っているか。入っていなければ、検証を始める前に整えます。整えるのに1か月かかることもあります。

5つの工程で実施する

計画から報告までの流れを整理します。始める前に決めることが多いのが、この検証の特徴です。

社内の合意を取る

この検証は、社内の合意なしには実行できません。一部の地域で広告を止めるということは、その地域の売上を意図的に下げる可能性を受け入れることです。営業の担当者にとっては、受け入れがたい話になります。

合意を得るための説明は3点です。何のために止めるのか。どのくらいの期間か。止めた期間の影響をどう評価するか。止めた地域の営業の成績を、その期間だけ別に扱う配慮も必要です。

止める地域の選び方にも配慮します。重要な顧客がいる地域、大きな商談が進んでいる地域は避けます。検証のために事業を損なうのは、本来の目的と逆になります。

説明の際に、検証で得られるものを具体的に示します。「この検証で、広告の予算を他の施策に回してよいかが判断できます」といった形です。抽象的な「効果を測る」では、協力を得られません。

経営の側の合意も取ります。検証の期間に数字が下がることを、事前に共有しておく。結果が出る前に止められると、投資が無駄になります。期間と、期間中の数字の見方を先に決めておきます。

法人向けでの難しさ

この方法は、消費者向けの事業で発展してきたものです。法人向けでは、いくつかの前提が崩れます。最も大きいのは、件数の少なさです。月に数十件の申込では、統計的な判断が難しくなります。

次に、地域という区分の意味の弱さです。本社が東京にあり、実際の利用は全国の拠点という顧客が多い。配信の地域と、意思決定の場所が一致しないことがあります。この場合、地域で分ける設計そのものが成り立ちにくくなります。

三つめは、検討の期間の長さです。半年から1年かかる商材では、検証の期間中に成果が現れません。手前の指標で判断することになりますが、手前の指標と受注の関係が弱ければ、判断の根拠になりません。

これらの制約があるため、法人向けでは検証の結果を絶対視しないのが賢明です。参考の1つとして扱い、他の材料と合わせて判断します。「上乗せは指標の半分程度だった」という程度の粗い結論でも、議論の土台としては十分に価値があります。

それでも実行する価値はあります。測ってみるという姿勢そのものが、社内の議論の質を変えます。根拠のない主張が通りにくくなり、次の検証の設計も改善されていきます。

単価の指標では判断できない

広告の評価に使われる代表的な指標は、1件あたりの費用です。費用を件数で割った数字で、管理の画面にそのまま表示されます。この数字が下がれば良い、上がれば悪いと判断されがちです。

しかし、この数字は上乗せを反映していません。社名で検索した人を多く集める設定にすると、1件あたりの費用は下がりますが上乗せは増えません。指標が良くなるほど、実質の効果が下がることがあります。

この構造は、担当者の評価にも影響します。1件あたりの費用で評価されていると、上乗せの少ない配信に寄せるのが合理的になります。指標の設計が、行動を決めてしまう例です。評価の仕組みを変えないと、この偏りは直りません。

上乗せを測ると、1件あたりの費用の数字が2倍や3倍になることがあります。この数字を見て、広告が急に悪くなったと受け取られる危険があります。指標の定義が変わったことを、先に説明しておく必要があります。

説明の順序も設計します。先に測り方を説明し、次に結果を示し、最後に他の施策との比較を示す。結果だけを先に出すと、数字の悪さだけが記憶されます。

他の施策との比較に使う

上乗せを測る本当の価値は、他の施策と同じ土台で比べられることです。記事の作成、催しの開催、資料の制作。これらの効果も上乗せで測れます。同じ考え方で測れば、予算の配分の議論ができます。

たとえば記事の効果は、特定の記事を一定期間だけ非公開にして測る方法があります。催しの効果は、参加した企業と参加しなかった企業のその後の商談の率を比べる方法があります。

いずれも完全ではありませんが、上乗せという同じ考え方で並べられます。並べられれば、どこに費用を寄せるかの議論ができます。並べられないと、声の大きい部署の予算が通ります。

すべての施策を測る必要はありません。費用の大きい上位の3つか4つに絞れば足ります。小さな施策の上乗せを測るのは、測る手間のほうが大きくなります。測る対象を決めるのも、予算の判断の一部です。

測れない施策もあります。採用への影響、業界での評判、既存の顧客との関係の維持。測れないものを、効果がないものとして扱わないよう注意します。測れないことは記録し、判断の際に言葉で示します。

小さく始める方法

最初から本格的な設計を組む必要はありません。小さく始めて、測ることに慣れるほうが結果につながります。1回目は結果の確かさより、実行できることを重視します。

最も小さい形は、社名の広告だけを止めることです。自社の名前で検索した人に出している広告を、2週間だけ止める。上乗せがほぼないと予想される部分から始めるのが安全です。予想どおりなら、その予算を他に回せます。

次に小さいのは、特定の商材の広告だけを止める形です。全体を止めるより影響が限定され、社内の合意も得やすくなります。結果が出たら、次の商材で同じ検証をする。積み上げていく形にします。

1回目の目的を、手順を確立することに置く考え方もあります。記録が取れるか、集計ができるか、報告の形が作れるか。2回目からは同じ手順で回せるようになります。

小さく始めることには、別の利点もあります。社内の抵抗が小さいことです。「2週間だけ、この分類だけ」なら、反対する理由も小さくなります。1回やってみた実績があれば、2回目の規模を広げる相談がしやすくなります。

時期をずらす方法

地域で分けられない場合の代替として、時期をずらす方法があります。同じ地域で、一定の期間ごとに出す期間と止める期間を交互に作ります。たとえば2週間出して2週間止めるのを繰り返す。

繰り返すことで、季節の影響を平均化できます。1回だけの停止と違い、複数回の比較になるため、偶然の影響が薄まります。地域を分ける必要もありません。

弱点は、期間が長くかかることです。2週間の周期を6回繰り返すと、3か月かかります。その間、広告の出方が不規則になるため、自動の入札の仕組みが安定しないこともあります。

また、検討の期間が長い商材では出した期間と止めた期間の影響が混ざります。2週間出して止めても、その後の申込は前の期間の影響を受けています。周期を検討の期間より長く取る必要があります。

特定の分類だけを止める方法もあります。商材のうち1つの分類の広告だけを止め、他の分類は出し続ける。分類ごとの上乗せが分かりますが、分類の間で需要が移る可能性は残ります。

結果の読み方

集計が終わったら、差の大きさを見ます。同時に、その差が偶然の範囲かどうかを見ます。件数が少ない場合、大きな差でも偶然の可能性があります。この判断を飛ばすと、誤った結論を出します。

簡単な確かめ方は、検証を始める前の同じ長さの期間で、同じ2つの集団の差を見ることです。検証の前から差があったなら、その差は広告のせいではありません。この確認は、集計の表があればすぐにできます。

差が出なかった場合も、意味のある結果です。「上乗せは確認できなかった」という結論です。上乗せがないと断定するのとは違います。件数が少なくて検出できなかった可能性も残ります。この区別を、報告に明記します。

報告には、留保も一緒に書きます。期間の長さ、件数の少なさ、同時に動いていた他の要因。留保を書かない報告は、後で信用を失います。書いておけば、次の検証の改善点にもなります。

結果を1回で決定的なものとして扱わないことも重要です。対を入れ替えて2回目を行えば、結果の確かさが上がります。1回目で出た傾向が2回目でも出れば、議論の余地は大きく減ります。

やってはいけない設計

この検証で結果を無意味にしてしまう設計を挙げます。どれも実際に起きているものです。

• 止めた地域の予算を他の地域に回し、条件が揃わなくなった
• 検証の期間中に別の施策を始め、影響を分けられなくなった
• 終わってから差の出た指標を探し、それを効果として報告した
• 件数が月に数件しかない状態で実施し、偶然の差を結論にした
• 検討の期間より短い期間で実施し、影響が現れる前に終えた
• 首都圏を止めて、社内の反発で途中で再開した
• 地域の判定の設定を確かめず、止めたはずの地域に配信が続いた

3つめの型が、最も罪深いものです。指標を後から選べば、必ず都合のよい結果が作れます。測る指標を先に紙に書き、関係者に共有してから始めるだけで防げます。

結果を予算に反映する

検証の目的は、予算の配分を変えることです。結果が出たら、次の期の予算に反映します。反映しなければ、検証にかけた費用が無駄になります。反映の方針も、検証を始める前に決めておきます。

• 測る指標と期間を、始める前に紙に書いて共有した
• 地域ごとに予算を分け、共有の予算をやめた
• 検証の前の期間で、2つの集団に差がなかったことを確かめた
• 期間中に動かした他の施策を記録した
• 営業の記録が入る時間を待ってから集計した
• 留保を添えて報告した
• 結果を次の期の予算にどう反映するかを決めた

• 検証の設計や結果の解釈は、扱う商材や件数の規模によって大きく変わります
• 件数が少ない場合は差が検出できないことがあり、上乗せがないことの証明にはなりません
• 広告の配信の設定や地域の判定の仕組みは変わることがあるため、公式の案内で確かめてください

反映のときも、一度に大きく動かさないのが安全です。上乗せが小さいと分かった施策の予算を、半分だけ他に回して様子を見る。結果を過信して全額を動かすと、取り返しがつかないことがあります。段階的に動かし、そのたびに数字を見ます。

まとめ

広告からの申込には、広告がなくても来ていた人が含まれます。判断に使うべきは、広告があったことによる上乗せの分だけです。上乗せを測るには、配信する地域と配信しない地域を作って比べます。過去の件数が近い対を複数作り、測る指標と期間を始める前に決め、地域ごとに予算を分けてから実施してください。期間は検討の長さの2倍以上を目安にします。法人向けでは件数の少なさが制約になるため、結果は参考の1つとして留保を添えて報告するのが誠実な形です。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。