差が出たように見えて差がない｜数字の揺れを見分ける

先月の申込が12件、今月は15件。3件増えたので、施策が効いたと報告します。会議では、そのまま受け入れられます。しかし、この3件は偶然かもしれません。偶然と本当の差を分ける方法が、あります。

数字は、何もしなくても動く

最初に、前提を確かめます。施策を何も打たなくても、数字は動きます。先月12件、今月15件、来月10件。この程度の上下は、日常的に起きます。理由は、たまたまです。

なぜ揺れるのか。訪問する人が、毎回違うためです。その日の気分も、状況も違います。たまたま検討中の人が多い月もあります。この偶然が、数字の上下を作ります。

揺れの幅は、件数が少ないほど大きくなります。10件が12件になるのは、2割の増加です。しかし、実際には2件動いただけです。1000件が1200件なら、話は違います。同じ2割でも、意味がまったく違います。

ここに、判断の落とし穴があります。率で見ると、大きく動いたように見えます。実数で見ると、わずかな差です。報告では、率のほうが使われがちです。その結果、偶然が成果として扱われます。

この誤りは、費用の判断に直結します。効いたと判断すれば、その施策を続けます。実際には効いていなければ、費用は無駄です。逆に、効いた施策を止めることもあります。どちらも、大きな損失になります。

この記事では、その見分け方を扱います。まず、偶然と差を分ける考え方を示します。そのうえで、必要な件数を数値で示します。判定の時期についても扱います。最後に、件数が足りない場合の進め方をまとめます。

偶然と差を、どう分けるのか

考え方は、単純です。偶然だけで、この差が出る確率を計算します。その確率が十分に低ければ、偶然ではないと判断します。これが、統計の基本的な考え方です。難しい計算は、道具がやってくれます。

使われる基準は、5パーセントです。偶然だけでこの差が出る確率が、5パーセント未満。その場合に、差があると判断します。言い換えると、95パーセントの確からしさです。これが、実務の標準になっています。

なぜ5パーセントなのか。厳密な根拠があるわけではありません。慣例として、広く使われている水準です。業界や目的によって、変えることもあります。重要なのは、事前に決めておくことです。

速さを優先して、10パーセントにする場合もあります。その場合、必要な件数が減ります。ただし、誤って差ありとする危険は倍になります。この引き換えを、理解して選びます。後から基準を変えるのは、誤りです。

もう1つの基準も、あわせて決めます。実際に差がある場合に、それを見つけられる確率です。80パーセントが、標準とされています。つまり、5回に1回は見逃すということです。この点も、知っておく必要があります。

2つの基準は、必要な件数に直結します。厳しくすれば、必要な件数は増えます。緩めれば、減りますが誤りが増えます。この関係を押さえたうえで、次に進みます。具体的な数値を、見ていきます。

必要な件数は、想像より多い

ここが、最も驚かれる部分です。差を判定するのに必要な件数は、非常に多い。月に数十件の規模では、まったく足りません。具体的な数値を、示します。自社の規模と、比べてみてください。

成果の率が3パーセントの場合を考えます。100人来て、3人が申し込む水準です。ここから、2割の改善を検出したい。つまり、3パーセントが3.6パーセントになる差です。必要な件数は、1つの群あたり約21,000件です。

2つの案を比べるので、合計は42,000件です。月に42,000件の訪問がある会社は、多くありません。多くの企業サイトでは、1年かかる規模です。その間に、他の条件も変わります。現実的とは、言えません。

成果の率が低いと、さらに増えます。率が1パーセントで、1割の改善を検出したい場合。1つの群あたり、約15万件が必要です。合計で、30万件になります。この規模は、多くの会社では到達できません。

差が小さいほど、必要な件数は跳ね上がります。成果の率の差が、0.2から0.3パーセント程度の場合。数千から数万件のデータが必要になります。小さな差を確かめるのは、それだけ難しい。この関係を、押さえておきます。

成果の率	検出したい改善の幅	1つの群に必要な件数	2群の合計
3パーセント	2割の改善	約21,000件	約42,000件
1パーセント	1割の改善	約15万件	約30万件
3パーセント	5割の改善	数千件の規模	数千から1万件
10パーセント	3割の改善	数千件の規模	数千から1万件

規模別の、現実的な目安

では、自社の規模で何ができるのか。訪問の規模ごとに、目安があります。この目安を知ると、判断が速くなります。できないことを、はっきりさせるためです。3つの区分で示します。

月に10万頁以上の閲覧がある場合。検出したい差を、1割から1割5分に設定します。期間は、2週間から3週間です。この規模なら、比較の試験が成り立ちます。改善の余地も、細かく探せます。

月に1万から3万頁の場合。検出したい差を、2割から3割に設定します。期間は、1か月程度が必要です。小さな差は、検出できません。大きく変える案でないと、判定できません。

月に1万頁未満の場合。比較の試験には、向きません。件数が足りず、判定に至らないためです。無理に行うと、偶然を成果と誤認します。別の方法を、選びます。

多くの企業サイトは、3つ目に当たります。この事実を、まず受け入れます。できないことを認めるのは、後退ではありません。できる方法に、時間を回せるようになります。後の節で、その方法を扱います。

なお、成果の率が高い場面では話が変わります。フォームの入力の完了率などです。率が高ければ、必要な件数は減ります。訪問の全体ではなく、その手前で絞った母数で見ます。この工夫で、判定できる場面が増えます。

途中で判定すると、誤りが跳ね上がる

最も多い誤りが、ここにあります。試験の途中で、数字を見てしまうことです。差が出ているから、と止めてしまう。この行為が、判定を大きく歪めます。仕組みを説明します。

試験の途中では、数字が揺れ続けます。ある日はA案が勝ち、別の日はB案が勝つ。件数が少ない段階では、当然の動きです。そのどこかで、差が大きく開く瞬間があります。そこで止めれば、差ありと判定されます。

この行為を、覗き見と呼びます。誤って差ありとする確率が、跳ね上がります。本来5パーセントの誤りが、20から30パーセント以上になります。5回に1回以上、誤った判断をすることになります。試験を行う意味が、失われます。

対策は、単純です。設計した件数に達するまで、判定しません。途中の数字は、見ても判断に使わないことです。見ないほうが、確実です。この規律が、試験の価値を守ります。

期間を先に決めておく方法も、有効です。2週間なら2週間と決め、その日まで見ません。曜日による差も、均されます。1週間単位で区切ると、より安定します。半端な期間で切らないことが、要点です。

途中で止めてよい場合も、あります。明らかな不具合が見つかった場合です。表示が崩れている、送信できないなどです。この場合は、試験ではなく修正の問題です。成果の判定とは、切り分けます。

率だけを見ると、判断を誤る

報告の場面で、率が使われます。前月比で2割増、といった表現です。しかし、率だけでは判断できません。実数を、必ず添えます。この習慣が、誤りを大きく減らします。

10件が12件になれば、2割増です。1000件が1200件でも、2割増です。率は同じですが、意味はまったく違います。前者は偶然の範囲、後者は明確な変化です。率だけの報告では、この差が消えます。

同じことが、減少の場面でも起きます。3件が1件になれば、67パーセントの減少です。数字だけ見ると、深刻な事態に見えます。しかし、2件動いただけです。慌てて対策を打つ必要は、ありません。

報告の様式に、実数の欄を作ります。率と実数を、並べて書きます。これだけで、議論の質が変わります。見た人が、自分で判断できるようになります。作業の手間は、ほとんど増えません。

母数も、あわせて示します。何件のうちの何件かが、分かるようにします。母数が小さければ、率の信頼度も低い。この情報がないと、正しく読めません。3つの数字を、常に一緒に出します。

件数が足りないときの、代わりの方法

多くの会社は、件数が足りません。では、改善を諦めるのか。そうではありません。別の方法で、判断の材料を集めます。4つの方法を示します。

1つ目は、少人数の観察です。5人から10人に、実際に操作してもらいます。どこで迷ったか、何が分からなかったかを見ます。統計的な判定はできませんが、原因は分かります。しかも、数日で終わります。

2つ目は、途中の行動を見る方法です。最終の成果ではなく、その手前を測ります。資料を開いた、価格の頁を見た、といった行動です。これらは、成果より件数が多い。判定できる規模に、届く場合があります。

3つ目は、質問して聞く方法です。問い合わせてきた人に、直接尋ねます。何を見て、何が決め手になったか。10人に聞けば、傾向が見えます。数字では出ない理由が、分かります。

4つ目は、明らかな不備を直す方法です。試験するまでもない、という改善です。表示が崩れている、文字が読めない、送信できない。これらは、比べる必要がありません。直すだけで、確実に良くなります。

件数が少ない会社では、4つ目から着手します。明らかな不備を、すべて潰します。そのうえで、1つ目の観察を行います。この順序が、最も効率的です。比較の試験は、規模が育ってからで構いません。

大きく変える、という選び方

件数が足りない場合の、もう1つの考え方があります。小さな差を検出できないなら、大きく変える。この発想の転換が、有効です。1割の改善は測れなくても、5割なら測れます。必要な件数が、大きく減るためです。

小さな変更の例を挙げます。ボタンの色を変える、文言を1語変える。こうした変更で得られる差は、数パーセントです。検出するには、膨大な件数が要ります。多くの会社では、判定できません。

大きな変更とは、構造を変えることです。頁の構成を組み替える、入力の項目を半分にする。提供する内容そのものを変える、という選択もあります。こうした変更なら、差が大きく出ます。少ない件数でも、判定できる可能性があります。

大きく変えることには、危険もあります。悪化した場合の、影響も大きくなります。だからこそ、戻せる形で行います。元の状態を保存し、いつでも戻せるようにします。この備えがあれば、思い切って試せます。

何が効いたかが、分からなくなる問題もあります。複数を同時に変えると、原因が特定できません。ただし、実務では判定できることが優先です。原因の特定は、後から追えばよい。まず、差を出すことを狙います。

同時に複数を試すときの、注意

複数の施策を、同時に試すことがあります。時間を節約したい場面です。しかし、ここにも落とし穴があります。試す数が増えるほど、偶然の当たりが増えます。仕組みを説明します。

1つの試験で、誤る確率は5パーセントです。20の試験を同時に行えば、どうなるか。そのうち1つは、偶然に差が出ます。何も効いていなくても、1つは当たります。その1つを、成果として報告してしまいます。

この問題は、指標を増やす場合にも起きます。1つの試験で、10個の指標を見る。どれか1つは、たまたま良くなります。それを取り上げれば、成功に見えます。しかし、選び方が恣意的です。

対策は、事前に決めることです。何を主要な指標にするかを、始める前に決めます。結果を見てから選ぶのは、誤りです。他の指標は、参考として見るだけにします。この規律が、判断の質を保ちます。

試す数を絞ることも、有効です。同時に3つまで、といった上限を決めます。優先順位を付けて、順に試します。時間はかかりますが、結果は信頼できます。急いで誤るより、遅くて正しいほうがましです。

• 途中で差が出たから止める：誤りの確率が5パーセントから20から30パーセント以上に跳ね上がる
• 率だけで報告する：10件が12件でも2割増となり、偶然が成果に見える
• 結果を見てから、見る指標を選ぶ：どれか1つは偶然良くなるため、必ず成功に見える
• 件数が足りないのに試験を行う：判定に至らず、時間と機会を失う
• 半端な期間で区切る：曜日による差が均されず、偏った結果になる

報告での、伝え方

正しく判断しても、伝わらなければ意味がありません。報告の場では、言葉を選ぶ必要があります。統計の用語をそのまま使うと、伝わりません。結論を、日常の言葉で言い換えます。3つの型を示します。

差があると判定できた場合。偶然では説明しにくい差が出ました、と伝えます。そのうえで、実数と率の両方を示します。期間と件数も、あわせて添えます。この形なら、根拠が伝わります。

差があるとは言えない場合。効果がなかった、とは言いません。今回の件数では、差を確かめられなかった、と伝えます。この2つは、意味が違います。差がないことを、証明したわけではありません。

件数が足りない場合。判定できる規模に達していない旨を、先に伝えます。試験の前に、この説明をしておきます。後から言うと、言い訳に聞こえます。先に言えば、期待の調整になります。

代わりに何をするかも、あわせて示します。少人数の観察、途中の行動の計測、直接の質問。できないと言うだけでは、話が止まります。代案があれば、前に進めます。この姿勢が、信頼につながります。

比べる相手を、そろえる

判定を歪めるもう1つの要因があります。比べる2つの集団が、そろっていない場合です。件数が十分でも、これがあると誤ります。条件が違えば、差の原因も分かりません。そろえるべき点を挙げます。

最も多いのが、期間のずれです。先月と今月を比べる、という形です。しかし、月ごとに外部の状況が違います。同じ期間に、両方を並行して動かすのが原則です。これができないなら、比較の精度は落ちます。

流入の経路も、そろえます。検索から来た人と、広告から来た人は違います。検討の段階が、そもそも別です。経路が混ざると、その比率の変化が結果に出ます。経路ごとに分けて見るか、比率を確かめます。

端末の種類も、影響します。携帯と卓上では、行動が大きく違います。片方に偏った案は、その端末で有利になります。全体の数字だけを見ると、原因を見誤ります。端末別の内訳も、あわせて確かめます。

新規と再訪の比率も、確かめます。再訪の人は、成果に至る率が高い。その比率が違えば、結果も違います。分けて見ると、本当の差が見えることがあります。この確認は、判定の後に行います。

季節と曜日の影響を、切り分ける

法人向けでは、時期の影響が大きい。この影響を、施策の効果と混同しやすい。切り分けの方法を、知っておきます。切り分けないと、毎年同じ誤解を繰り返します。順に見ます。

曜日の差は、非常にはっきり出ます。法人向けでは、平日と休日で大きく違います。月曜と金曜でも、差が出ます。試験の期間を、1週間単位で区切ります。半端な日数だと、特定の曜日が多く入ります。

月内の時期でも、差が出ます。月初と月末では、動きが違います。決算の時期は、さらに大きく動きます。1か月の試験なら、この影響は均されます。2週間だと、片方に偏る可能性があります。

年間の波も、押さえておきます。長期の休みの前後は、動きが止まります。年度の切り替わりでは、大きく動きます。この時期に試験を行うと、判定が難しくなります。避けられるなら、避けます。

切り分けの方法は、前年との比較です。同じ時期の、前年の数字を見ます。同じように動いていれば、季節の影響です。違う動きなら、施策の効果かもしれません。この確認を、判定の前に行います。

試験を設計する、5つの工程

ここまでの内容を、作業の順に並べます。設計を先に行うことが、すべての前提です。始めてから決めると、必ず歪みます。紙1枚に書いてから、始めます。順に示します。

3つ目の工程で、多くの試験は中止になります。計算した件数に、到達できないと分かるためです。これは失敗ではなく、正しい判断です。無駄な時間を、使わずに済みます。代わりの方法に、すぐ移れます。

紙1枚に書く、というのも重要です。書いておけば、後から言い訳ができません。終了の日も、指標も、先に決まっています。結果を見てから変えることが、できなくなります。この拘束が、判断の質を守ります。

• ここで示した件数は目安であり、条件によって変わる。専用の計算の道具で確かめる
• 差があると判定できても、その差が事業に見合うかは別の判断になる
• 同じ施策でも、時期や外部の状況で結果は変わる。1回の結果を絶対視しない

よくある質問

差があると出たのに、実施しても効果が出ません

いくつかの原因が考えられます。試験の期間が短く、特定の時期の傾向を拾っていた場合。母数が偏っていて、全体には当てはまらなかった場合。あるいは、判定の基準を満たしていない段階で止めていた場合です。まず、試験の設計を振り返ってください。件数と期間が設計どおりだったかを確かめます。

件数が足りなくても、傾向としては見てよいですか

参考として見るのは構いません。ただし、意思決定の根拠にはしないでください。特に、費用の増減を伴う判断には使わないことです。傾向として見る場合も、実数と母数を必ず併記します。そして、判定できていない旨を明記してください。後から誤解される原因になります。

どのくらいの期間で判定すべきですか

件数で決めるのが原則ですが、期間の目安もあります。1週間単位で区切ると、曜日による差が均されます。最低でも2週間、規模が小さければ1か月です。ただし、長すぎると外部の状況が変わります。3か月を超える試験は、条件が同じとは言えなくなります。

まとめ

数字は、何もしなくても月ごとに揺れます。その揺れを超える差かどうかは、件数で決まります。成果の率が3パーセントで2割の改善を検出するには、合計で約42,000件が必要です。月に1万頁未満の規模では、比較の試験は成り立ちません。この事実を、まず受け入れてください。

試験を行うなら、途中で判定しないことです。覗き見によって、誤りの確率は20から30パーセント以上に跳ね上がります。件数が足りない場合は、少人数の観察や直接の質問に切り替えます。報告では、率だけでなく実数と母数を必ず併記してください。その1行が、偶然を成果と誤認する事故を防ぎます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。