バンディットアルゴリズムとは？｜配分を寄せる試し方

「二案を出して1か月流す決まりになっていますが、3週目にはもう片方が勝っているのが見えています。それでも残りの1週間を均等に流し続ける意味があるのか、報告のたびに引っかかります」「配信の画面に最適化という設定があって、反応の良い広告に自動で寄っているらしいのです。だとすると、私たちが均等に振り分けてやっている試験は、いったい何と何を比べていることになるのでしょうか」。この2つは別々の戸惑いに見えますが、決めていないことが同じです。反応を見ながら配分を寄せるのか、最後まで均等に流して差を説明できる形を残すのか。ファストマーケティング株式会社が2026年5月に、BtoB企業の営業とマーケティングに関わる432名へ実施した調査（事前の調査12,003名から抽出したインターネット調査）では、直近1年の目標達成について、リード獲得は67.8%が達成した一方で、新規商談は57.2%、新規受注は57.9%と6割を下回りました。同じ調査で、アクセスや問い合わせは増えているのに商談や受注が増えないと感じることが「よくある」「ときどきある」と答えた割合は合わせて62.0%、定期的に把握している指標はサイトのアクセス数が38.4%、問い合わせ数が33.8%に対し、新規受注金額は15.0%でした。配分を寄せる方式は、どちらが優れていたかを説明する力を差し出して、試している間の損を買い戻す取引です。差し出すものと買い戻すものが釣り合う場面と、まったく釣り合わない場面があります。この記事では、その境目がどこにあるのかを、広告とページの出し分けに絞って書きます。

バンディットアルゴリズムとは、反応を見ながら配分を寄せていく試し方

選択肢が複数あって、それぞれの当たりやすさが分かっていない。試せば分かってくるものの、試している間は劣る選択肢にも資源を配ることになる。この板挟みを扱う問題を多腕バンディット問題と呼びます。参考にした事典の記述では「確率論と機械学習において、一定の限られた資源のセットを競合する選択肢間で、期待利得を最大化するように配分しなければならない問題」と定義されており、1952年に統計学者のハーバート・ロビンスが定式化したと書かれています。名前は、腕にあたるレバーが複数ある賭け機に由来します。

広告とページの出し分けに置き換えると、腕は案そのものです。広告文、画像、ページの見出し、申込みの導線。1回の表示ごとに、どの案を出すかを決める。反応が返るたびに各案の見立てを更新し、次の表示の割り振りを変える。振り分け試験が期間を決めて割合を固定するのに対して、こちらは割合そのものを最後まで動かし続ける。一行で言える違いはここだけです。

何を小さくしようとしているのかも、はっきり決まっています。最も良い案だけを選び続けたときに得られたはずの合計と、実際に得た合計の差。これを後悔と呼び、ふだんの言葉なら「あとから見て、配り間違えた分」です。1回あたりの平均の差がゼロに近づいていく戦略を、ゼロ後悔戦略と呼びます。目的が「差を説明する」ではなく「配り間違えを小さくする」ところに置かれている。この一点を押さえておくと、後の判断がほとんど自動で決まります。

二案を最後まで均等に流すと、劣る案に配り続けた分が費用になる

数字にすると分かりやすくなります。案が2つあって、申込率が2.0%と1.0%だったとします。月に10,000回の表示を均等に振れば、それぞれ5,000回。仮に開始の翌週に差が見えていて、残りをすべて良い案に回せたなら、5,000回に1.0ポイント分、つまり50件の申込が増えていたことになります。これが待つ費用の正体で、期間が長いほど、案の差が大きいほど積み上がります。

この費用が見えにくいのには理由があります。広告の管理画面にも会計の書類にも、出てくるのは実際に取れた数だけで、取れたはずの数は出てきません。待つ費用は、記録に残らない形で発生します。だから「二案を1か月均等に流す」という決まりは、費用のかからない安全策のように見える。実際には、案の差が大きいときほど高い買い物になっています。

ただし、始めた時点ではどちらが2.0%の案なのかは分かりません。分からないまま寄せれば、劣る案のほうに寄せてしまう危険があります。寄せる方式が扱っているのはこの不確かさで、寄せる速さは「どれだけ確からしくなったか」で決めます。速く寄せれば費用は小さくなり、取り違える危険が上がる。速さと確からしさは、同じつまみの両端です。片方だけを良くする設定は存在しません。

振り分け試験と配分を寄せる方式は、損の出方と説明のしやすさで違う

2つの方式を並べると、選ぶ基準が4つに絞れます。損がどう出るか、その結果を誰にどう説明するか、必要な母数が集まるか、そして期間が方式に合っているか。下の表は、この4つに終わり方を足して並べたものです。どちらが優れているかという表ではなく、場面によって答えが入れ替わる表として読んでください。

見る軸	最後まで均等に流す（振り分け試験）	反応を見て配分を寄せる
損の出方	劣る案に配り続けた分が、期間の終わりまで積み上がる。額が分かるのは終わったあと	劣る案の配分が早く落ちるので損は小さい。ただし取り違えたときは、間違えた側に寄り続ける
説明のしやすさ	母数がそろうので、差が偶然で出る確率まで示せる。稟議と社外への報告に耐える	後半は劣る案のデータが増えないので、優劣を同じ確度では言えない。増えた成果だけは示せる
必要な母数	案の数に比例して増える。案が5つなら1案あたりが5分の1になり、期間が延びる	案が多いほど有利。ただし寄せ始める前に、各案が最低限の反応を得ている必要がある
向く期間	数週間から数か月。期間を先に決めて途中で動かさない前提が要る	数日から数週間。期間が短く、途中で終わっても成果が手元に残る場面に向く
終わり方	期間の満了。差が出なければ、出なかったと記録して終える	打ち切り条件を先に書いていないと終わらない。配分が張り付いたまま続く

表の2行目が、実務でいちばん効きます。同じ検証でも、自分たちの中で次の案を決めるだけなら説明力は要りません。稟議や親会社への報告に使うなら要ります。説明力が要るかどうかは、検証の中身ではなく提出先で決まります。だから同じ会社の中でも、施策によって方式が変わってよいのです。

寄せ方には段階がある。探索を残す型、不確かさを足す型、確からしさで配る型

配分を寄せる方式は1種類ではありません。違いは「探索、つまり劣っているかもしれない案に配る枠を、どうやって残すか」の1点に集約されます。下の表の3つを押さえておけば、道具の説明書を読んだときにどれに当たるか見当がつきます。

寄せ方の型	配分の決め方	探索の残り方	向く場面と注意
一定割合を探索に残す型	全体の何割かを常に無作為に振り分け、残りを現時点で最も反応の良い案に回す	人が決めた割合で最後まで残る	残す下限を自分で決めたい場面に向く。割合の根拠を置きにくく、公開されている解説でも、この調整は難しくまだ分かっていない前提の知識を要すると書かれている
不確かさを足して選ぶ型	各案の平均の反応に、試した回数が少ないほど大きくなる上乗せを足し、合計が最大の案を選ぶ	試行が増えると上乗せが縮み、探索が自然に細くなる	期間が長く、探索を自動で細めたい場面に向く。本来最適でない案にも探索を割いてしまう欠点がある
確からしさに応じて配る型	各案が最も良い確率を見積もり、その確率どおりの割合で配る	反応の低い案も、低い確率で試され続ける	案が多い場面に向く。序盤の少ない反応で見立てが振れやすいので、1案あたりの最低配分を別に置く

2つ目の型には、損の増え方が試行回数の対数に比例することが理論的に示されているものがあります。回数が10倍になっても損は10倍にならない、という性質です。3つ目の型については、国内の大手通販サイトが公開している技術記事に、推薦の枠に対して無作為に選ぶ方式と、事後の分布から抽出して選ぶ方式の2つを運用していると書かれています。実務では、無作為に配る枠を別に持ったまま寄せる方式を動かす形が取られているということです。

どの型を選んでも、変わらないことが1つあります。探索に残す下限は、仕組みではなく人が決めるという点です。2つ目の型は時間で自動的に細くなりますが、細くなり切ったあとに市場が動いたら追随できません。3つ目の型は確率で残りますが、序盤に運悪く反応が薄かった案は確率そのものが小さくなります。下限を書いていない設定は、いずれ1案に張り付きます。

手放すのは、どちらが優れていたかを同じ確度で言える力

振り分け試験が優劣を説明できるのは、両案に同じだけ流したからです。母数がそろっていれば、観測された差が偶然で出る確率を計算できます。配分を寄せると、後半は劣る案のデータがほとんど増えません。分母が片方だけ増え続けるので、その計算の前提が崩れます。増えた成果の合計は示せますが、「Bが劣っていた」という主張の確かさは示せないという形の弱さです。

もう1つ、時期の混ざり方という弱点があります。寄せる過程は時間とともに進むので、後半に外の事情が入ると、案の差と時期の差が同じ数字に混ざります。季節、他部署の施策、競合の出方、大きな案内を送った日。振り分け試験は同じ期間に両案を流し続けるので、この混ざり方が起きにくい。配分を寄せる方式は、成果を増やす道具としては強く、比較の道具としては弱い。この非対称を理解していれば、報告の文面も自然に変わります。

実務では、報告の書き方を先に決めてしまうのが早道です。寄せる方式で回した検証は「この期間に、この成果地点で、これだけの件数が取れた。配分はこう動いた」と書きます。「Aのほうが優れていることが分かった」とは書きません。この線を先に引いておくと、途中で「有意差はどうなっているのか」と聞かれたときに、方式の選択そのものを説明できます。二案を振り分けて有意性まで読む進め方は別の作業として整理されているので、そちらが必要な検証には最初から振り分け試験を選びます。

向くのは、期間が短い・案が多い・反応が早く返るがそろったとき

配分を寄せる側が向く条件は3つで、そろっているほど有利になります。1つ目は期間が短いこと。季節商材や催事の告知のように、期間そのものが1週間しかない場合、均等に流している間に期間が終わります。7日の告知で3日を探索に使うと、良い案で走れるのは4日しか残りません。

2つ目は案が多いこと。振り分け試験は案の数だけ母数を分けるので、5案なら1案あたりが5分の1になり、必要な期間が延びます。寄せる方式は劣る案の配分が早く落ちるため、案が増えても総量の使い方が悪化しにくい。参考にした解説では、成功確率が0.2、0.5、0.8の3案を1,000回試すという条件で比べており、確からしさに応じて配る型が序盤から高い成果を出す様子が示されています。案が多いときほど、寄せる側の取り分が大きくなります。

3つ目は反応が早く返ること。クリック、開封、ページ内で次の画面へ進んだかどうか。当日中に返る指標なら、翌日の配分に反映できます。逆に、返るまで2週間かかる指標では、寄せる仕組みは今日の判断材料を持てません。3つのうち2つしかそろわないときは、そろっていない1つを補う設計にします。期間が短くて案が2つなら、寄せる幅の上限を先に低く置く。案が多くて反応が遅いなら、手前の指標で寄せて奥の指標で決める二段にする。

向かないのは、決裁に説明が必要な検証と、返りが遅い指標

向かない場面は4つあり、どれも「寄せて取り戻せる額よりも、失うものの値段が高い」形をしています。1つ目は決裁に説明が必要な検証です。値上げの是非、看板になる商材のページの全面改修、外部に出す調査。ここで求められるのは増えた件数ではなく、次に同じ判断をするときに使える根拠です。

2つ目は、反応が返るまで日数がかかるBtoBの商談指標です。資料請求から商談に至るまでに2週間から数週間かかる場合、今日の配分を決める材料が今日は存在しません。3つ目は、案が2つだけで差が小さい場面。寄せて取り戻せる額が小さいのに、説明力を失う代償は同じだけ払うことになります。この場合は素直に均等で流し、期間を延ばすほうが合います。

4つ目が見落とされやすい型です。期間の途中で案の中身が変わる場面。広告文の言い回しを直した、画像を差し替えた、リンク先のページを更新した。寄せる仕組みから見ると、これは同じ案の続きではなく別の案です。それまでの反応の履歴が付いたまま新しい中身が動くので、見立てが実態から外れます。案を触るなら、触った日を境に別のものとして数え直します。

BtoBの母数では、寄せる前に学習が終わらない

公式の仕様に、母数の目安が書かれています。検索広告で最も使われている配信基盤の公式ヘルプは、自動入札の設定を変えたあと、新しい目標に合わせて調整されるまでにコンバージョンのイベントが50回程度発生するか、コンバージョンのサイクルが3回程度発生することがあると説明しています。学習期間の長さに影響する要因として挙げられているのは3つで、獲得したコンバージョン数、コンバージョンのサイクルの期間（クリックの発生からコンバージョンの獲得までにかかる時間）、そして入札戦略です。

BtoBの数字に当てはめてみます。月の申込が20件なら、50件に届くのは2か月半後です。さらに、申込から商談化までに3週間かかるとすれば、サイクルが3回まわるのに2か月以上。つまり寄せる仕組みが落ち着くまでに、四半期がひとつ終わります。その間、配分は少ないデータで動き続けます。この期間を「まだ学習中だから」と待つのか、期間そのものを検証の対象から外すのかは、始める前に決めておくことです。

同じヘルプには、寄らない条件も書いてあります。広告グループ内の広告の掲載結果が似通っている場合や、広告グループが一定期間に十分な表示回数やクリック数を獲得していない場合は、広告配信が変化しない可能性があると明記されています。BtoBの母数では、この記述がそのまま当てはまります。寄せているつもりで、実際にはほとんど寄っていないという状態が起こる。表示回数を案ごとに並べて、本当に偏りが出ているかを最初に確かめます。

母数が小さいときの現実解は4つあります。日次ではなく週単位で見る（日次の上下で寄せると曜日の差を拾います）。案を3つまでに絞る（案が多いほど1案あたりの母数が薄くなります）。各案に最低配分を残す（下限を2割前後に置くと、序盤の偏りから戻れます）。そして指標を二段に分ける。この4つは道具の設定ではなく、始める前に紙に書いておく決め事です。

広告の配信基盤には、すでに配分を寄せる仕組みが入っている

配分を寄せる方式は、これから導入する新しい仕組みではありません。多くの会社がすでに使っています。検索広告で最も使われている配信基盤の公式ヘルプには、広告のローテーションという設定があり、検索、ディスプレイ、ショッピングのキャンペーンで使えると書かれています。「最適化」を選ぶと、キーワードや検索語句、オークション、デバイス、地域などのシグナルを使って、より多くのクリック（コンバージョン数を優先する自動入札を使っている場合はコンバージョン）の獲得が見込める広告が、広告グループ内の他の広告よりも頻繁にオークションにかけられます。

見落とされているのは、次の1行です。コンバージョン数を優先する自動入札を使う場合、広告のローテーションは自動的に「最適化」に設定されます。均等に流す側の設定も用意されていて、そちらを選ぶと期間に制限なく広告はより均等にオークションにかけられますが、公式は「ほとんどの場合、おすすめしません」と書いています。均等に流したいなら、そう明示的に切り替えるしかないということです。

この事実が変えるのは、報告の書き方です。「広告文AとBを比べた結果、Aが勝ちました」と書くとき、母数がそろっていない可能性があります。まず表示回数を案ごとに並べる。偏っていれば、それは比べた結果ではなく寄せた結果です。逆に偏っていなければ、公式が書いている「掲載結果が似通っている」か「十分な表示回数を獲得していない」のどちらかに当たっている可能性があります。どちらの場合も、報告の一行目に表示回数を書くだけで読み違いが止まります。

任せきりにすると、学習が偏って戻らなくなる

偏りの起き方には、はっきりした仕組みがあります。寄せる仕組みは、自分が配ったところからしか反応を受け取れません。配分が落ちた案は、その後のデータが増えません。だから序盤の少ない試行で低く見積もられた案は、そのまま低いままで固定されます。運悪く最初の数十回で反応が薄かっただけの案が、以後ずっと選ばれなくなる。探索に一定割合を残す設定が必要なのは、この一方通行を断ち切るためです。

案の差し替えも、偏りを固定します。途中で新しい案を足すと、その案には履歴がないので見立てが定まらず、すでに寄っている案の配分が残ります。この状態で「新しい案は勝てなかった」と読むのは誤りです。新案が受け取った表示回数を確かめると、既存案の何分の1しかないことがよくあります。案を足した日と止めた日を記録し、その日を境に見るのが最低限の作法です。

任せきりを避けるために、仕組みに残させる記録は3つで足ります。いつ、どの案に何割配ったか。その時点の各案の反応の数と分母。案を足したり止めたりした日と、その理由。寄せる仕組みに判断をさせるのではなく、この3つを並べさせて人が読んで決める。3つ目が抜けている実装が多く、あとから「なぜこの案が消えているのか」を追えなくなります。振り返りの頻度が成果に効くことも観測されていて、先の調査では、週に1回以上振り返っている企業の受注目標の達成率が84.8%、振り返りを実施していない企業では26.7%でした。

成果地点を手前に置くと、寄せ方を誤る

寄せる方式でいちばん多い失敗が、成果地点の置き場所です。国内の大手通販サイトが公開している技術記事には、コンバージョンは遅れて来ることも多いため、流れてくるデータでの学習は現時点ではクリック率のみで行っていると書かれています。つまり実務では、遅れて返る成果では逐次の学習が回らないので、手前の指標で寄せている場合がある。これは手抜きではなく、仕組みの制約から来る現実的な選択です。

問題は、その制約を知らずに結果を読むことです。手前の指標で寄せると、クリックされやすいが申込には至らない案に配分が寄ります。誇張した見出し、本文と関係の薄い画像、条件を書かない訴求。クリック率だけが上がって申込が減る。先の調査で、定期的に把握している指標がサイトのアクセス数38.4%、問い合わせ数33.8%に対して新規受注金額が15.0%だったことを思い出すと、この誤りは寄せる仕組みを入れる前から起きていると分かります。

同じ技術記事には、表示とクリックの突き合わせ方の都合で実際のクリック率より少なく見積もられてしまうという記述もあり、1日分の記録で計算したところ98%は突き合わせできていると添えられています。寄せる根拠になっている数そのものに、取りこぼしがある。数パーセントの取りこぼしは、案の差が数パーセントの検証では無視できません。使っている道具が何をもって1件と数えているかは、始める前に一度確かめます。

避け方は二段に分けることです。寄せる指標は手前でよい。当日返るものでなければ配分を動かせないからです。ただし採用と打ち切りの判断は、奥の指標で行う。申込、商談、受注。手前で寄せて奥で決める、と1行書いておく。これを書いていないと、手前の数字が良くなった時点で検証を終わりにしてしまい、申込が減っていることに翌月まで気づけません。

人が握り続ける3つの決定は、成果地点、打ち切り、寄せてよい下限

任せる範囲の議論は、「どこまで自動にするか」から始めると終わりません。逆から決めると早く終わります。人が握る決定を3つ名指しして、残りを仕組みに渡す。1つ目は成果地点です。何を1件と数えるのか。クリックか、申込か、商談か、受注か。成果地点を、寄せる仕組みにもAIにも決めさせません。理由は単純で、成果地点は事業の側の定義であって、データからは出てこないからです。同じ画面から「この案が最もクリック率を伸ばす」と言えても、それが取りたい成果かどうかは別の問題です。

2つ目は打ち切り条件。3つを書きます。期限の日付。これ以上は寄せないという配分の上限（1案に7割まで、など）。そしてやめる条件（1案の配分が下限に張り付いたまま2週間動かない、成果地点の件数が2週続けて基準を下回る、など）。寄せる方式は自然には終わりません。均等配信は期間の満了で勝手に終わりますが、寄せる方式は配分が偏ったまま何か月も動き続けます。

3つ目は寄せてよい下限。各案に必ず残す割合です。前の節で書いた一方通行の偏りは、下限がなければ止まりません。BtoBのように母数が小さいときは、下限を高めに置くほうが安全です。1案あたり2割を残せば、序盤に沈んだ案が3週間で戻ってこられる程度のデータが集まります。下限を1割未満にするなら、代わりに月に1回、配分を均等に戻して数日流す期間を設けます。

この3つを決めたうえで、仕組みには根拠を並べさせます。人が読んで決めるための材料は4つで足ります。

• 配分の履歴。いつ、どの案に何割を配ったか。案を足した日と止めた日も同じ表に置く
• 各案の分母と反応の数。表示回数と、成果地点に到達した件数を分けて書く
• 成果地点の定義と、数え始めの起点。何をもって1件とし、いつからの分を数えているか
• 候補から外した案と、その理由。反応が薄かったのか、途中で中身を変えたのか、意図的に止めたのか

4つ目が最も効きます。外した理由が書かれていると、別の担当者が別の見立てを持ったときに、どこで判断が分かれたのかを特定できます。反応が薄くて外したのか、中身を差し替えたので数え直したのかは、記録がなければ区別できません。引き継ぎの質は、この1列で決まります。

導入の順番は、成果地点、案の数、探索の割合、打ち切り条件

この順番には理由があります。前の段が決まっていないと、次の段の数字が決められないからです。逆から始めると、道具の設定画面を開いたところで手が止まります。

1段目から4段目までは、道具を買わずに紙の上で終わります。必要なのは、成果地点の定義、案の一覧、母数の見込み、そして期限です。寄せる方式の準備は設定作業ではなく、決め事を書く作業です。ここが終わっていれば、道具の設定は数分で済みます。

母数が足りないのに寄せ始める型が、いちばん多い失敗

失敗の型は、どれも進んでいる感じがするところが共通しています。配分は動き、画面には差が出て、報告には新しい言葉が並びます。増えないのは、奥の指標だけです。

• 母数が足りないのに寄せ始める。各案の表示回数が数百回のうちに偏りが固定され、序盤に運悪く沈んだ案が二度と選ばれない。寄せ始める前に、1案あたりが最低限の反応を得ているかを確かめる
• 成果地点が手前すぎる。クリック率で寄せて、申込が減る。手前で寄せるのは構わないが、採用と打ち切りの判断を奥の指標に置いていないと、減ったことに翌月まで気づけない
• 途中で案を差し替えて比較が壊れる。同じ案の続きとして履歴が残るので、見立てが実態から外れる。触った日を境に別の案として数え直す
• 決裁向けの検証に寄せる方式を使う。増えた件数は示せても、優劣の確かさが示せない。値上げの是非や看板商材の全面改修は、素直に均等で流す
• 探索の下限を置かない。1案に全部寄ったまま何か月も続き、市場が動いても追随できない。下限か、月1回の均等に戻す期間のどちらかを必ず置く
• 期間の途中で成果地点を変える。前半と後半で数えているものが違う検証になり、増えた件数さえ説明できなくなる

2つ目の型は、数字の上ではいちばんきれいに見えます。クリック率は目に見えて上がり、報告も書きやすい。ところが同じ期間の申込を並べると横ばいか下がっている。手前の指標で寄せた結果、クリックされやすいが検討していない人を集める案に配分が移っただけ、という説明が最も多く当たります。手前と奥を同じ表に並べて出す習慣があれば、この型はその月のうちに見つかります。

4つ目の型を避ける方法は1つだけです。検証を始める前に「これは決裁に使うか」を確かめること。使うなら振り分け試験、使わないなら寄せる方式。判断が要るのはこの一問だけで、あとは自動的に決まります。逆に、始めてから提出先が変わった場合は、方式を変えるのではなく、その検証を報告に使わないという判断のほうが早いです。

• この記事で扱ったのは、配分を寄せる方式そのものの判断です。二案を振り分ける試験の立て方、必要な母数の見積もり、有意性の読み方は別の作業として整理されており、ここでは方式の違いを説明するのに必要な範囲でしか触れていません。アクセスが少ないときにテスト以外の証拠で直す進め方も、別の作業として扱っています
• 多腕バンディット問題の定義、後悔（リグレット）の意味、1952年の定式化は、参照した事典の記述に沿っています。3つの寄せ方の仕組みと、損の増え方が試行回数の対数に比例することが証明されている型があるという記述は、公開されている解説記事の説明に沿ったものです
• 配分の目安と学習に関する数値は、検索広告で最も使われている配信基盤の公式ヘルプの記載です。コンバージョンのイベントが50回程度、またはコンバージョンのサイクルが3回程度という表現も、原文の書き方に沿っています。仕様は改定されることがあるので、実行の前に現行の記述を確かめてください
• 遅れて返る成果の扱いと、クリック率が実際より少なく見積もられるという記述は、国内の大手通販サイトが公開している技術記事の内容です。1社の実装の話であり、すべての道具に当てはまる仕様ではありません
• 目標の達成率、指標の把握状況、振り返りの頻度との関係は、ファストマーケティング株式会社が2026年5月に実施した調査の集計です。事前の調査12,003名から抽出したインターネット調査で、有効回答は432名。BtoB企業の営業とマーケティングに関わる人に限った調査なので、全企業の平均としては読めません

よくある質問

案が2つしかないときも、配分を寄せる方式を使えますか

使えますが、得られるものが小さくなります。案が2つだと、寄せて取り戻せるのは劣る案に配っていた分の半分程度で、そのために説明力を手放すことになります。2案でも寄せる価値が出るのは、期間が1週間以下で、案の差が大きいと予想される場合です。催事の告知で見出しを2つ試すような場面がこれに当たります。逆に、通年で回している広告の文言を2つ比べるなら、均等に流して期間を延ばすほうが、次に使える結果が残ります。

途中で成果地点を変えてもよいですか

その検証の中では変えられません。前半と後半で数えているものが違うと、増えた件数の合計すら説明できなくなります。変える必要が出たら、その時点で検証を打ち切り、記録を残してから新しい成果地点で始め直します。よくあるのは、クリックで寄せていたら申込が落ちたので申込に変えたい、という場面です。この場合は、寄せる指標をクリックのまま残し、打ち切りと採用の判断だけを申込に移します。二段に分ければ、検証を止めずに済みます。

有意差の検定は要らなくなりますか

寄せる方式では、そのままの形では使えません。母数がそろっていないので、差が偶然で出る確率を計算する前提が崩れています。要らなくなるというより、その問いに答えない方式を選んだということです。有意性が必要な検証なら、方式を振り分け試験に戻します。両方が欲しい場合は、期間を分ける手があります。前半を均等に流して差を確かめ、後半を寄せて成果を回収する。前半と後半の境目の日付を記録しておけば、報告でも両方を書き分けられます。

まとめ

二案を最後まで均等に流すか、反応を見て配分を寄せるかは、優劣の問題ではなく等価交換の問題です。寄せる方式は、劣る案に配り続けた分の損を小さくする代わりに、どちらが優れていたかを同じ確度で説明する力を手放します。手放してよいかどうかは、検証の中身ではなく提出先で決まります。自分たちの中で次の案を決めるだけなら手放してよく、稟議や社外への報告に使うなら手放せません。向くのは、期間が短い、案が多い、反応が当日返るの3つがそろった場面。向かないのは、決裁に説明が必要な検証、返るまで数週間かかるBtoBの商談指標、案が2つで差が小さい場面、そして期間の途中で案の中身が変わる場面です。忘れやすいのは、この方式がすでに手元で動いている点です。検索広告で最も使われている配信基盤の公式ヘルプは、コンバージョン数を優先する自動入札を使う場合、広告のローテーションは自動的に最適化に設定されると書いています。均等に流したいなら明示的に切り替えるしかなく、切り替えていない検証の報告に「AとBを比べた結果」と書くのは正確ではありません。一方で同じヘルプは、掲載結果が似ている場合や十分な表示回数を得ていない場合は配信が変化しないこともあると書いており、BtoBの母数ではこちらに当たります。学習が落ち着くまでの目安はコンバージョンのイベント50回程度、またはサイクル3回程度。月の申込が20件で商談化に3週間かかるなら、それだけで四半期がひとつ終わります。だから週単位で見て、案を3つから5つに絞り、各案に2割の下限を残し、寄せる指標と決める指標を二段に分ける。そして人が握る決定は3つです。何を1件と数えるかという成果地点、いつどうなったら終わるかという打ち切り条件、各案に必ず残す配分の下限。寄せる仕組みには判断をさせず、配分の履歴、各案の分母と反応の数、成果地点の定義と起点、外した案とその理由の4つを並べさせて、人が読んで決めます。次の一手は道具を選ぶことではありません。いま動いている広告グループの案ごとの表示回数を並べて、すでに偏っているかどうかを確かめる。偏っていれば、あなたの検証はもう寄せる方式で回っています。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。