広告の実験機能で確かめる5工程｜思い込みで変えない

「設定を変えた翌週に成果が伸びたので、他にも同じ変更を広げた」「全体では落ちたが、なぜかを説明できない」——広告の運用で繰り返される失敗です。変更の効果は、前の週と比べて分かるものではありません。季節や競合の動きが混ざるため、同じ期間で並べて比べます。この記事では、実験の仕組みを使う5つの工程を整理します。

前後の比較では判断できない

設定の変更の効果を、変更の前後で比べる方法が広く使われています。この方法には弱点があります。

前後の期間では、季節、曜日、競合の動き、他の施策がすべて違います。

成果の変化のうち、どれだけが変更によるものかを分けられません。

特に影響が大きいのは競合の動きです。競合が配信を止めれば、こちらの成果は上がります。

こちらの変更とは無関係に上がった成果を、変更の効果として記録してしまいます。

この誤った記録が、他のキャンペーンへの展開の根拠になります。展開して成果が落ちます。

落ちた原因が分からないため、また別の変更を試します。学習が積み上がりません。

解決は、同じ期間に2つの設定を並べて比べることです。外部の影響が両方に等しくかかります。

等しくかかれば、差は変更によるものと考えられます。判断ができるようになります。

この仕組みが、広告の管理画面に用意されています。

以下では、対応の範囲、5つの工程、そして結果の読み方を扱います。

使い方を誤ると結果が読めないため、設計の段階が重要になります。

設計に30分かけると、数週間の検証が無駄になりません。

対応するキャンペーンの種類

この仕組みは、すべての種類で使えるわけではありません。先に確認します。

使えるのは、検索、ディスプレイ、動画、そして宿泊の広告です。

アプリの広告と、商品の一覧を使う広告では使えません。

そのため、使えない種類では別の方法を取ります。期間を長く取って前後で比べる形です。

その場合も、季節の影響を除くため前年の同じ期間と併せて見ます。精度は下がります。

また、検索と自動の配信の種類では、テストの結果の確からしさを示す指標が表示されます。

この指標は、統計的に意味のある結果が得られる可能性を示します。判断の助けになります。

指標が低い場合は、期間を延ばすか、対象の規模を大きくします。

使える種類でも、対象の規模が小さいと結果が読めません。件数の確保が前提になります。

目安として、それぞれの側で成果が30件以上になる規模が必要です。

30件に届かない場合は、期間を延ばします。延ばせない場合は検証を行いません。

行わない判断も重要です。読めない結果で判断すると、誤った結論が残ります。

規模の確認は、直近1か月の実績から計算します。数分で済みます。

5つの工程

実際の進め方を5つの工程で示します。

1つ目の絞り込みが、この仕組みの成否を決めます。複数を変えたくなる誘惑が強い工程です。

3つ目の50%は、推奨されている割合です。片方に偏らせると、少ない側の件数が足りなくなります。

5つ目の我慢が難しい工程です。途中で悪く見えると、変えたくなります。

変えた時点で、その検証は無効になります。期間を決めて待ちます。

4つ目の審査の考慮も忘れやすい点です。当日に開始しようとすると、片方だけが動く状態になります。

片方だけが動いた期間は、比較から除外する必要があります。除外の手間が増えます。

検証する項目の選び方

何を検証するかで、得られる学習の価値が変わります。選び方を扱います。

価値が高いのは、他のキャンペーンにも展開できる項目です。

たとえば、入札の方式や、文面の型は展開できます。個別の語の追加は展開できません。

展開できる項目を検証すれば、1回の検証の成果が全体に広がります。

逆に、個別の設定の細かい調整は、検証の対象にしません。得られる学習が狭くなります。

次に、変更の幅が大きい項目を選びます。幅が小さいと、差が偶然に埋もれます。

たとえば、文面の1語を変える検証では差が出ません。訴求の軸を変える検証にします。

訴求の軸とは、価格を前面に出すか、実績を前面に出すかといった違いです。

3つ目に、社内で意見が分かれている項目を選びます。検証で結論を出せます。

意見が分かれた状態で片方を採用すると、後から議論が再燃します。

検証の結果があれば、議論が終わります。この効果は数字以上の価値があります。

選んだ項目と、その理由を記録します。後で検証の一覧として使えます。

一覧があると、同じ検証を繰り返す無駄が防げます。

予算の分割の考え方

予算の割り当ての判断について扱います。

推奨されているのは50%です。両方の件数が同じ水準になります。

片方を少なくすると、少ない側の件数が足りず結果が読めません。

それでも偏らせたい場合があります。新しい設定への不安が大きいときです。

その場合は、期間を延ばします。少ない側でも件数が確保できる期間にします。

延ばせない場合は、50%で行うか、検証を行わないかの選択になります。

中途半端に偏らせて短期間で行うと、読めない結果に時間を使うことになります。

なお、検索の広告では、分割の方式を選べる場合があります。利用者の単位で分ける方式と、検索の単位で分ける方式です。

方式によって、必要な規模の条件が変わることがあります。設定の際に確認します。

方式の選択は、検証の対象によって決めます。同じ利用者に一貫した表示をしたい場合は、利用者の単位で分けます。

文面の検証では、一貫性が重要になります。同じ人に違う訴求を見せると、判断が混ざります。

入札の検証では、検索の単位でも構いません。訴求は変わらないためです。

この判断の理由も記録します。次回の設計で参照します。

期間の決め方

期間の設定は、結果の確からしさに直結します。

必要な期間は、件数から逆算します。それぞれの側で成果が30件以上になる期間です。

1日あたりの成果が2件の場合、片方で30件に達するには1か月かかります。

この計算をせずに2週間で設定すると、件数が足りずに結果が読めません。

逆に、件数が多い事業では2週間で足ります。無駄に長くする必要はありません。

長すぎる期間には欠点もあります。途中で市場の状況が変わる可能性が上がります。

そのため、必要な最短の期間に設定します。計算に基づいて決めます。

また、期間には曜日の周期を整数で含めます。2週間や4週間という形です。

10日間のような設定では、含まれる曜日の構成が偏ります。偏りが結果に影響します。

祝日を含む場合は、その影響を考慮します。連休を含む期間は避けるのが無難です。

避けられない場合は、期間を延ばして影響を薄めます。

期間の終わりの日を、あらかじめ予定表に入れます。結果を確認する日です。

入れておかないと、終わったまま放置されます。実際によく起きます。

同時に実施できる数の制限

運用上の制限があります。計画の段階で押さえます。

1つのキャンペーンに複数のテストを予定として登録できますが、同時に実施できるのは1つだけです。

そのため、検証したい項目が複数ある場合は、順番に実施します。

順番の決め方は、期待される効果の大きさです。大きいものから始めます。

効果の大きい検証を先に行えば、その結果を早く他に展開できます。

並行して進めたい場合は、別のキャンペーンで行います。ただし条件が違うため、結果の比較には注意します。

同じ条件での比較にならないため、別のキャンペーンでの結果は参考にとどめます。

検証の計画は、四半期の単位で立てます。1つの検証に1か月かかるなら、四半期で3つです。

3つの枠を、どの検証に使うかを先に決めます。決めないと、思いついた順になります。

思いついた順に行うと、効果の小さい検証に枠を使ってしまいます。

枠の配分は、四半期の初めに決めます。決める時間は30分です。

決めた計画は、上長にも共有します。途中で別の検証を依頼されるのを防げます。

依頼された場合は、枠の入れ替えとして扱います。追加ではありません。

結果の読み方

期間が終わったら、結果を読みます。読み方に注意が必要です。

見る数字	判断の内容	注意する点
成果の件数	どちらが多いか	件数が30件未満なら判断しない
1件あたりの費用	どちらが安いか	予算の割合の違いを考慮する
結果の確からしさの指標	偶然かどうか	低い場合は期間の延長を検討
クリックの割合	文面の検証で見る	成果と方向が違う場合がある

3つ目の指標を確認せずに結論を出すのが、最も多い誤りです。

件数の差が出ていても、偶然の範囲であれば採用の根拠になりません。

4つ目の注意点は重要です。クリックが増えても成果が増えないことがあります。

その場合、訴求が広がって関心の薄い利用者を集めた可能性があります。成果で判断します。

差が読めない場合の結論は、どちらでもよいということです。元の設定を維持します。

維持するという結論も、価値のある結果です。変更の手間をかけない判断ができます。

この結論を記録に残します。同じ検証を繰り返さないためです。

記録には、検証した項目、期間、件数、結論、そして判断の根拠を書きます。

結果を展開する

良い結果が出た場合の展開の方法を扱います。

展開の前に、条件の違いを確認します。同じ結果が他でも出るとは限りません。

検証したキャンペーンと、展開先のキャンペーンの対象や訴求が近いかを見ます。

近い場合は展開できます。遠い場合は、展開先でも検証を行います。

遠いまま展開すると、全体の成果が落ちることがあります。冒頭で触れた失敗です。

展開の順序は、条件の近いものから始めます。1つずつ広げます。

一度にすべてへ広げると、問題が起きたときに原因が分かりません。

展開した後は、2週間ほど数字を見ます。想定と違えば戻します。

戻せるようにするため、変更の前の設定を記録します。記録がないと戻せません。

記録は、変更した項目と変更前の値の2つで足ります。

この記録を、検証の記録と同じ場所に残します。

展開の結果も記録します。展開先で効かなかった場合、条件の違いが学習になります。

この学習が、次の検証の設計に生きます。

やりがちな失敗

この仕組みの使い方には、繰り返し起きる失敗があります。

• 複数の項目を同時に変え、どの変更が効いたのか分からなくなる
• 予算の割合を偏らせ、少ない側の件数が足りずに結果が読めない
• 期間の途中で設定を変え、比較が成立しなくなる
• 件数が30件に届かないまま結論を出し、偶然の差を採用する
• 結果の確からしさの指標を見ずに、件数の差だけで判断する
• 条件の違うキャンペーンにそのまま展開し、全体の成果を落とす

1つ目が最も多い失敗です。設定の機会にまとめて変えたくなります。

3つ目は、途中の数字を見て不安になったときに起きます。

見ないという選択も有効です。期間の途中は確認しない運用にします。

4つ目と5つ目は、判断の急ぎから生まれます。期間を延ばす判断を先に用意します。

6つ目は、良い結果が出たときに起きます。喜びが確認を飛ばさせます。

これらは、検証の計画書があれば防げます。項目、期間、必要な件数、判断の基準を先に書きます。

計画書は1枚で足ります。書く時間は30分です。

検証の計画書の型

計画書に書く内容を整理します。1枚に収めます。

書くのは、検証する項目、変更の内容、期間、必要な件数、判断の基準の5つです。

判断の基準は、数字で書きます。どちらが何%多ければ採用するかを決めます。

基準を先に決めないと、結果を見てから解釈することになります。都合の良い解釈が入ります。

さらに、採用しない場合にどうするかも書きます。元の設定を維持する、と明記します。

この一文があると、結果が出なかったときに次の検証へ進めます。

計画書は、上長と共有します。共有すると、途中での変更の依頼が減ります。

共有の際に、期間の終わりの日を伝えます。それまでは結果が出ないことを明示します。

明示しないと、途中で結果を求められます。求められると、途中の数字で報告してしまいます。

途中の数字での報告は、誤った判断につながります。

計画書の様式を作っておけば、毎回の作成が10分で済みます。

様式には、記入の例も入れます。例があると、書き方に迷いません。

例は、過去に行った検証から作ります。実際の内容が最も分かりやすくなります。

使えない種類での代替

この仕組みが使えない種類での代替の方法を扱います。

代替の基本は、期間を長く取って前後で比べることです。精度は下がります。

精度を補うため、前年の同じ期間との比較も併せて見ます。

季節の影響を、前年の同じ期間の変化から推定します。推定を差し引いて評価します。

この方法は手間がかかりますが、季節の影響をある程度は除けます。

もう1つの方法は、地域で分けることです。地域ごとにキャンペーンを分けている場合に使えます。

片方の地域で変更し、もう片方を維持します。同じ期間で比べられます。

ただし、地域によって競合の状況が違います。この差は残ります。

3つ目の方法は、変更を段階的に行い、段階ごとの変化を見ることです。

いずれの方法も、正式な仕組みより精度は低くなります。

そのため、結論は暫定として扱います。断定した報告はしません。

暫定であることを明記すれば、後で覆っても問題になりません。

明記せずに断定すると、覆ったときに信頼を失います。

点検の項目

検証の設定の前と、期間の終わりに次の項目を確認します。

• 検証する項目が1つに絞られているか
• 予算の割合が50%になっているか（偏らせる場合は期間を延ばしたか）
• それぞれの側で成果が30件以上になる期間を設定したか
• 期間に曜日の周期が整数で含まれ、連休を含んでいないか
• 開始日を審査の完了を見て数日後に置いたか
• 期間の終わりの日が予定表に入っているか
• 判断の基準を数字で決め、上長と共有したか

1つ目と3つ目を満たさない検証は、行っても結果が読めません。

6つ目を忘れると、検証が終わったまま放置されます。

7つ目は、結果の解釈のぶれを防ぎます。先に決めておきます。

5つ目は、片方だけが動く期間を作らないための項目です。

確認は15分で終わります。検証の計画書と合わせて行います。

運用に残す取り決め

担当が変わっても続くように、文書に残します。

• 検証に使える種類と、使えない種類での代替の方法
• 予算の割合の既定（50%）と、偏らせる場合の条件
• 必要な件数の目安（それぞれの側で成果30件以上）と期間の逆算の方法
• 期間中は設定を変えないという取り決め（元のキャンペーンも触らない）
• 検証の計画書の様式（項目・変更の内容・期間・必要な件数・判断の基準）
• 四半期ごとの検証の枠の数と、枠の配分を決める時期

4つ目を明文で残すのが有効です。途中の変更は誰でもやりたくなります。

6つ目があると、思いついた順の検証を避けられます。

この文書は、広告の運用の手順書の中に置きます。

更新は、検証の結果が出たその日に行います。結論も同じ場所に積み上げます。

積み上がった結論が、その組織の広告の知見になります。

検証の結果を積み上げる

1回ごとの検証より、積み上げた結論に価値があります。積み上げ方を扱います。

記録するのは、検証した項目、期間、件数、結論、そして条件です。

条件を書いておくと、後で似た状況かどうかを判断できます。

条件とは、対象の指定、訴求の内容、予算の規模のことです。3項目で足ります。

この記録が5件溜まると、傾向が見えてきます。効きやすい変更の種類が分かります。

10件溜まると、検証の設計が速くなります。過去の結果から仮説を立てられます。

記録の場所は、1つのファイルにまとめます。分散すると参照されません。

形式は表で足ります。1件1行で書きます。

担当が変わるときは、この表を引き継ぎます。最も価値のある引き継ぎの資料になります。

表がなければ、新しい担当は同じ検証を繰り返します。

繰り返しには、時間と予算がかかります。表の維持は、その節約になります。

維持の手間は、検証1回につき5分です。結論を1行書くだけです。

5分を惜しむと、数か月分の学習が失われます。

使う言葉の整理

この領域では言葉が混ざりやすいため、社内で意味を合わせておきます。

検証とは、同じ期間に2つの設定を並べて比べる仕組みのことです。前後の比較とは区別します。

前後の比較とは、変更の前の期間と後の期間を比べることです。季節や競合の影響が混ざります。

予算の割合とは、元のキャンペーンから検証の側に振り分ける比率です。50%が推奨されています。

結果の確からしさの指標とは、差が偶然でない可能性を示す数字です。低い場合は判断しません。

展開とは、検証で良かった設定を他のキャンペーンに適用することです。条件の確認が必要です。

枠とは、四半期に実施できる検証の数のことです。同時に実施できるのは1つだけです。

これらを1枚にまとめ、関係者に配ります。報告の際の行き違いが減ります。

配る相手は、広告の担当、上長、そして予算の承認をする相手です。

言葉が揃っていないと、前後の比較の結果を検証の結果として報告してしまいます。

この混同は、実際によく起きます。区別を明示するだけで防げます。

1枚の作成は20分です。最初の検証の前に作ります。

年に一度見直します。仕組みの名称が変わることがあります。

まとめ

設定の変更の効果を前後の期間で比べる方法では、季節・曜日・競合の動き・他の施策の影響が混ざり、変更によるものかを分けられません。同じ期間に2つの設定を並べて比べる仕組みを使えば、外部の影響が両方に等しくかかるため、差を変更の効果として読めます。

進め方は5工程です。検証する項目を1つに絞り、下書きからテストを作成し、予算の割合を50%に設定し、審査の完了を見て開始日を数日後に置き、期間の終わりまで設定を変えません。元のキャンペーンへの変更はテストに反映されないため、両方を触らないようにします。使えるのは検索・ディスプレイ・動画・宿泊の広告で、アプリと商品の一覧を使う広告では使えません。

期間は、それぞれの側で成果が30件以上になるよう逆算し、曜日の周期を整数で含めます。結果は件数の差だけでなく、確からしさの指標を確認してから判断します。1つのキャンペーンで同時に実施できるのは1つだけなので、四半期の枠を先に配分します。検証した項目・期間・件数・結論・条件を1行ずつ積み上げた表が、組織の知見になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。