クロス分析は平均では見えない差を出す|軸の決め方をAIで

クロス分析は平均では見えない差を出す|軸の決め方をAIで

「新しい施策を入れた月は全体の成約率が上がったので、うまくいったと報告しました。あとになって営業から、どの担当の数字も前の月より落ちていると言われました」「セミナー経由の見込み客は反応がよいと出たので予算を寄せたのに、翌月の数字は何も変わりませんでした」。——全体の平均だけを見て打ち手を決めたときに、よく起きる行き違いです。計算を間違えたわけではありません。1986年に英国の医学誌に載った腎臓結石の治療の比較では、治療Aの成功率が350例中273例で78%、治療Bが350例中289例で83%と、全体では治療Bが上でした。ところが結石の大きさで分けると、小さい結石は治療Aが87例中81例で93%、治療Bが270例中234例で87%。大きい結石は治療Aが263例中192例で73%、治療Bが80例中55例で69%です。どちらの層でも治療Aが勝っているのに、全体では治療Bが勝つという逆転が、実際の記録として残っています。足りないのは注意深さではありません。本当は、層ごとに件数の配られ方が違うと、全体の平均はその偏りに引っ張られる、ということです。この記事では、どの2つの軸で掛け合わせて見るのか、軸をどう選び、何件たまってから読むのか、そしてAIにどこまで任せられるのかを整理します。


カメ先生カメ先生

クロス分析というと、表を2つの軸で切って眺める作業だと思われがちですが、目的は表を作ることではありません。全体の平均が、層ごとの件数の偏りで動いてしまうのを外すための道具です。


カメ子カメ子

全体の平均が偏りで動く、というのはどういうことですか。


カメ先生カメ先生

件数の多い層の数字が、全体の数字を引っ張るからです。どの層でも負けている側が、件数の配られ方しだいで全体では勝って見える。これが起きるのは、全体の数字が層ごとの数字の単純な平均ではなく、件数で重みづけされた平均だからです。


カメ子カメ子

では、掛け合わせる軸は多いほど実態に近づく、ということになるのでしょうか。


この記事のポイント
  • クロス分析は表を作る作業ではなく、全体の平均が層ごとの件数の偏りに引っ張られるのを外す道具。どの層でも負けている側が、全体では勝って見える逆転が実データで起きている
  • 軸は打ち手が変わるものだけを選ぶ。掛け合わせると1マスの件数は急に減るので、読んでよい下限(調査の実務では1マス30件が目安)を表を作る前に決めておく
  • AIに任せられるのは集計の下書き・組み合わせの列挙・差の大きいマスの抽出まで。打ち手に値するかの判定と原因の言い切りは人が持つ。差を言わせるときは母数と件数を必ず併記させる

データ分析にAIを活かす第一歩、まずは導入から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

目次

全体では上がったのに、どの層でも下がっている

冒頭の腎臓結石の数字を、もう一度だけ順番に並べます。小さい結石では治療Aが93%、治療Bが87%。大きい結石では治療Aが73%、治療Bが69%。どちらの層でも治療Aが上です。ところが全体を足し合わせると治療Aが78%、治療Bが83%で、順位がひっくり返ります。ここで効いているのは成功率ではなく、件数がどちらの層にどれだけ配られていたかです。治療Aは難しい大きな結石を263例も引き受け、治療Bは易しい小さな結石を270例引き受けていました。

マーケティングの数字でも、同じことが毎月起きています。全体の成約率は、流入元ごとの成約率を件数で重みづけした平均です。成約しやすい流入元の件数が増えれば、各流入元の成約率が1つも上がっていなくても全体は上がります。逆に、広告を増やして問い合わせの総数を伸ばした月は、成約しにくい層の比率が増えるので、どの流入元も改善しているのに全体の成約率だけが下がるということが普通に起こります。

厄介なのは、どちらの向きの誤解も等しく起きることです。上がったときは施策の成果として報告され、下がったときは施策の失敗として扱われます。実際に動いたのは層の構成比だけで、打ち手の効き方は何も変わっていない、という場合が相当あります。全体の数字だけを見ている限り、この2つは見分けがつきません。

見分けるには、全体を一度ばらして、層ごとの数字と層ごとの件数を並べて見るしかありません。それがクロス分析です。難しい統計の手法ではなく、全体を2つの軸で切り分けて、マスごとに件数と割合を並べた表のことを指します。手法として新しいものではありませんが、全体の平均に引っ張られない読み方をするための、いちばん手前にある道具です。

クロス分析とは何か。1本の軸で切ることとの違い

集計の段階には順番があります。最初は単純集計で、ひとつの項目の全体の内訳を出します。次が1本の軸で切った集計で、たとえば流入元ごとの成約率を並べます。クロス分析はその次で、2本の軸を同時に使って、両方の条件を満たすマスごとに数字を出すものです。流入元と検討段階を掛け合わせれば、広告から来た初期検討の層、広告から来た比較検討の層、といった単位で数字が並びます。

表の呼び方も決まっています。左側に置く軸を表側、上側に置く軸を表頭と呼びます。各マスには件数と割合の2つが入り、割合には横方向で100%になる置き方と、縦方向で100%になる置き方があります。国内の調査実務では横方向で100%になる形が多く使われます。どちらで作るかを決めずに配ると、同じ表を見ながら別々の数字を読んでいる会議になります。表の左上に、どちらの向きで100%になるかを書いておくだけで防げます。

1本の軸で切るのとの違いは、見える差の種類です。1本の軸だけでは、その軸が効いているのか、その軸と一緒に動いている別の何かが効いているのかを区別できません。流入元ごとに成約率が違って見えても、流入元ごとに検討段階の構成が違えば、差の正体は検討段階のほうかもしれない。2本目の軸は、1本目の差が本物かどうかを確かめるために足すものです。

もうひとつ、先に線を引いておきます。クロス分析は、相手ごとに出し分ける施策の設計とは別の話です。出し分けは配る側の打ち手で、クロス分析は数字を読むための道具です。読んだ結果として出し分けにたどり着くことはありますが、表を作った時点では何も配っていません。この2つを混ぜると、表を作ること自体が目的化します。

逆転が起きるからくり。件数の偏りが平均を動かす

件数の偏りが平均を動かす様子を、もうひとつの有名な記録で見ます。1975年に米国の学術誌に載った論文で、ある大学の1973年の大学院入学者の合格率が扱われています。全体では男性の出願8,442人に対して合格率44%、女性の出願4,321人に対して合格率35%でした。差は9ポイントあります。

ところが、出願の多かった6つの学科に分けて見ると、風景が変わります。

学科男性の合格率女性の合格率
学科A62%82%
学科B63%68%
学科C37%34%
学科D33%35%
学科E28%24%
学科F6%7%

6学科のうち4学科で女性の合格率のほうが高く、残り2学科の差も小さい。にもかかわらず全体では9ポイントの差がつきます。理由は学科ごとの合格率そのものにあります。学科Aや学科Bは6割以上が合格する学科で、学科Fは1割も合格しません。合格率の低い学科に女性の出願が集まっていたため、女性全体の平均が引き下げられていました。学科ごとの扱いではなく、どの学科に出願が集まるかが全体の差を作っていた、という構造です。

この構造を自社の数字に置き換えると、こうなります。全体の平均は、層ごとの数字と層ごとの件数の両方で決まる。だから層ごとの数字が動かなくても、件数の配り方が動けば全体は動く。月次で全体の数字だけを追いかけると、層の構成比が変わっただけの動きを、施策の成果や失敗として読んでしまいます。

ここで気をつけることがひとつあります。逆転が見えたからといって、原因が分かったわけではありません。バークレーの例でも、論文が示したのは学科ごとに分けると差が消えるという事実までで、なぜその学科に出願が集まったのかは表の外の話です。クロス分析が答えるのは、差がどこにあるかまでです。なぜそうなったかは、表からは出てきません。

軸の選び方。打ち手が変わる軸だけを選ぶ

軸の候補は、探せばいくらでも出てきます。管理画面に並んでいる項目はすべて軸になりますし、AIに列挙させれば数十個はすぐに出ます。だからこそ、選ぶ基準を先に決めておく必要があります。基準はひとつで足ります。その軸で差が出たとき、明日から変えられる打ち手があるか。これだけです。

この基準で通る軸は、実務ではだいたい5種類に落ち着きます。

  • 属性(業種・企業規模・部門)……当てる相手を変えられる。出す媒体や訴求を寄せられる
  • 流入元(検索・広告・紹介・イベント)……予算の配り方を変えられる。止める判断もできる
  • 検討段階(情報収集・比較・稟議)……渡す資料と次の一手を変えられる
  • 利用頻度(未利用・時々・毎日)……声をかける順番と内容を変えられる
  • 契約規模(金額の帯)……かける手間の量を変えられる

この5つに共通するのは、差が出た瞬間に、誰が何を変えるかが言えることです。業種で差が出れば、その業種向けの事例を増やすのか、その業種への出稿を止めるのかを決められます。検討段階で差が出れば、どの段階の資料を作り直すかが決まります。決める人も、変える対象も、表を見る前から分かっています。

逆に、軸の候補を絞り込む段階では、細かさをまだ上げないことです。業種を大分類で見るか中分類で見るかは、後から変えられます。最初は値が5つから7つに収まる粗さで置く。細かくするのは、粗いままで差が見えたあと、その差の中身を知りたくなったときで間に合います。

打ち手が変えられない軸で切ると、仕事だけが増える

差が出る軸と、動かせる軸は別物です。曜日で切れば差は出ます。天気で切っても、担当者の姓の五十音で切っても、何かしらの差は出ます。差が出ること自体には意味がありません。差が出ても打ち手が変わらない軸は、表が増えるだけで終わります。

実務でよく作られてしまうのが、営業体制が全国一律なのに都道府県で切った表です。差は必ず出ます。しかし体制が一律である以上、その差を見て変えられるものがありません。結果として、毎月の定例で「西日本が弱いですね」という会話だけが繰り返され、次の月も同じ表が配られます。表を作る手間と、読む人数分の時間が、毎月消えていきます。

見分け方は簡単で、表を作る前に1行書くだけです。この表で差が出たら、誰が、何を、いつまでに変えるのか。この1行が書けない軸は、今回は作らない。書けないのは能力の問題ではなく、その軸が今の体制では動かせないという事実を表しているだけです。半年後に体制が変われば、同じ軸が使えるようになります。

  • 打ち手が変えられない軸でも、原因を説明するためなら意味があります。ただしその場合は定例の配布物にせず、必要になったときだけ作る一度きりの表として扱ってください
  • 逆に、打ち手が変わる軸でも、その打ち手に手が回らない時期なら後回しでかまいません。軸の良し悪しは、いま動かせる体制があるかどうかで決まります

2本目の軸をどう選ぶか。掛け合わせる相手の決め方

1本目の軸が決まったら、2本目は性質の違うものを選びます。実務で収まりがよいのは、1本目に打ち手を変える単位、2本目に相手の状態を置く組み合わせです。流入元と検討段階、業種と企業規模、担当チームと契約規模。片方は自分たちが動かせるもの、もう片方は相手側の事情です。

避けたいのは、同じ性質のものを2つ掛け合わせることです。業種の大分類と業種の中分類を掛け合わせても、新しい情報は出てきません。企業規模を従業員数で切った軸と売上高で切った軸も、ほぼ同じ方向を向いています。2本の軸が似ていると、マスの数だけが増えて差は出ない。この場合は掛け合わせるのではなく、どちらか片方を選び直します。

3本目の軸は、原則として足しません。3本目を足すと、1マスあたりの件数が読めない水準まで落ちます。どうしても3つ目の観点が要るときは、軸を足すのではなく、表を分けます。たとえば業種と検討段階の表を、企業規模の帯ごとに2枚作る。1枚の表の軸は2本まで、観点を足すときは表の枚数で足すという決め方が現実的です。

軸の値の数も先に決めます。片方が5つ、もう片方が6つの値を持っていれば、掛け合わせたマスは30個になります。ここに件数を配ると、1マスあたりは全体の30分の1です。値が10個と8個なら80マスで、同じ件数でも1マスは3分の1以下になります。マスの数は、軸を決めた瞬間に決まっているので、件数を数える前に掛け合わせた数だけは出しておきます。

軸を決める前に確かめる項目一覧

軸を決めてから表を作り、読む段階になって前提が崩れていた、というやり直しがいちばん高くつきます。作り始める前に確かめる項目を並べます。所要は15分ほどで、ほとんどは管理画面と台帳を見れば分かります。

  • この表で差が出たとき、誰が何をいつまでに変えるのか(1行で書けるか)
  • 2本の軸が似ていないか。片方を消しても言いたいことが残らないか
  • 軸の値の定義が、見る期間の途中で変わっていないか(分類の付け替え・項目の統合)
  • 掛け合わせたマスの数と、1マスあたりの見込み件数
  • 未設定・不明・その他の行をどう扱うか(除くのか、1つの層として残すのか)
  • 同じ相手が複数のマスに数えられていないか(重複した登録・同一企業の別部署)
  • 割合の分母が何か。マスの中の件数か、行の合計か、全体か
  • 何と比べて差と呼ぶのか(前の期間か、他のマスか、全体の平均か)

この中で見落とされやすいのが、3つ目の定義が期間の途中で変わっていないかです。流入元の分類を整理したり、業種の選択肢を増やしたりすると、その前後で同じ名前の層が別のものを指します。表の上では連続しているので気づきません。変更した日を台帳で確かめ、変更をまたぐ期間は分けて見るか、変更後だけで見ます。

5つ目の未設定の扱いも先に決めます。未設定を除いて計算すると、割合は読みやすくなりますが、未設定が多い層ほど都合よく見えるという歪みが入ります。未設定の件数が全体の1割を超えるなら、除かずに1つの層として残し、その多さ自体を先に直す対象にしたほうが早いです。

8つ目の比較する相手も、表を作る前に決めておきます。同じ表でも、前の期間と比べるのか、他のマスと比べるのか、全体の平均と比べるのかで、差と呼ぶ対象が変わります。決めずに配ると、読む人がそれぞれ都合のよい比較相手を選び、同じ表から反対の結論が出ます。

掛け合わせると1マスの件数が急に減る。下限を先に決める

クロス分析でいちばん多い事故は、件数の少ないマスの割合を真に受けることです。調査の実務では目安がはっきりしていて、1マスあたり30件以上を推奨し、30件を下回るマスは参考値として扱います。理由も明快で、件数が小さいほど、1件の動きが割合を大きく動かすからです。

数字で見ると効き方が分かります。100件のマスで1件増えれば割合は1ポイント動きます。10件のマスなら10ポイント動きます。10件のマスで50%と60%の差は、たった1件の差です。この1件を差と呼んで施策を組むと、次の月には消えます。消えたことは誰も報告しないので、同じことが何度でも繰り返されます。

掛け合わせると、この水準に一気に落ちます。回答が500件あっても、業種5つと企業規模4つを掛け合わせれば20マスで、平均は25件です。しかも均等には配られません。件数の多い業種に偏るので、いちばん小さいマスは1桁になります。500件という総数だけを見ていると、この落ち方は見えません。

対処は3つしかありません。期間を延ばして件数をためる。軸の値を束ねて粗くする。2本目の軸を落として1本で見る。どれを選ぶかは、表を作る前に決めておきます。表ができてから小さいマスを見つけて、その場で軸を変えると、都合のよい切り方が見つかるまで試したのと同じことになります。

運用として効くのは、表の見出しに下限を書いてしまうことです。件数が下限に届かないマスは、割合を表示せず件数だけを出す。灰色にする。この処理を集計の側に入れておくと、読む人が毎回判断せずに済みます。判断を人の注意力に任せないのが、いちばん確実です。

道具の側でも、小さいマスは黙って消える

件数が減ると、読み方の問題だけでなく、そもそも表示されないという問題も出ます。GA4にはデータしきい値という仕組みがあり、個人が特定されるのを防ぐため、最小の集計基準を下回る行やセルが表示されません。年齢や性別などの属性を含むレポートや、利用者を横断して数える設定が有効な場合に適用されます。公式の説明では、このしきい値はシステム側で定められていて調整できない、とされています。

ここで取り違えやすいのが、表示されないことと、ゼロであることの違いです。しきい値で隠れたマスは、数字が無いのではなく、見せられないだけです。それを「この層からは来ていない」と読むと、実際には来ている層を切り捨てることになります。属性を掛け合わせた表で空白が並んだら、まずしきい値を疑います。

しきい値にかかりにくくする方法は、期間を広げることです。公式の説明でも、期間を長くして利用者数と件数を増やすと、最小の基準を下回りにくくなると案内されています。週次で見えなかった表が、4週間分をまとめると見えるようになる。見えないときにまず動かすのは軸ではなく期間、と覚えておくと手戻りが減ります。

なお、少数の値が「その他」という行にまとめられる現象は、しきい値とは別の仕組みで、行数の上限によるものです。原因も対処も違うので、空白と「その他」を同じものとして扱わないでください。

  • 属性を含まない表でも、掛け合わせた結果として件数が小さくなれば、読んでよい下限は同じように効きます。道具が表示してくれることと、読んでよいことは別です
  • しきい値の有無は集計の道具ごとに違います。表を配る前に、使っている道具がどの条件で行を隠すのかを1度だけ確かめ、台帳に書いておくと毎回の確認が要らなくなります

期間のそろえ方と、季節やキャンペーンで差が出るとき

同じ表でも、期間の切り方で差の大きさが変わります。最初に決めるのは日数ではなく曜日です。BtoBの数字は平日に寄るので、30日と31日を比べると、平日の本数が1本違うだけで数%動きます。4週間単位で切ると、比べる2つの期間の平日の本数がそろいます。月次の報告に合わせる必要があるなら、月次の表とは別に4週間単位の表を用意します。

次に確かめるのが、期間の中で層の構成比が動いていないかです。冒頭の逆転は、まさにこれが動いたときに起きます。片方の期間だけにキャンペーンが入っていれば、その流入元の件数が膨らみ、全体の平均がその層に引っ張られます。層ごとの割合の推移を、率より先に1枚見るのが早道です。構成比が動いていれば、全体の数字の変化はその時点で説明がつきます。

季節の影響は、業種によって出方が違います。年度末に決裁が集まる相手が多ければ、1月から3月の数字は他の四半期と比べられません。この場合は、直前の期間と前年の同じ期間の2つと比べます。片方だけだと、季節の動きと施策の効果が区別できません。

期間の途中で新しい軸の値が増えた場合は、増えた日より前を含めないようにします。新しい流入元を2か月目から追加したのに、3か月分の平均で比べると、その層だけ分母が3分の2になります。新しい層は、存在した期間だけで見る。これを守らないと、新しい施策ほど数字が悪く見える、という一貫した歪みが入ります。

生成AIに任せられる作業と、判断させない線

クロス分析は、手を動かす部分と決める部分がはっきり分かれる作業です。分け方を作業名で書いておくと、迷いません。

作業AIに渡すか理由
集計表の下書きを作る渡す手順が決まっている。出てきた数字は原典と1マスだけ突き合わせて確かめる
掛け合わせの組み合わせを列挙する渡す数え上げは正確。ただし採用するかは打ち手を知っている人が決める
差の大きいマスを抜き出す渡す抽出は作業。母数と件数を必ず併記させる条件を付ける
表を社内向けの文章にする渡す要約は得意。数字の転記だけは人が確かめる
どの軸で切るかを決める渡さない打ち手が変えられるかは社内の体制の話で、データの中に書かれていない
その差が打ち手に値するかを判定する渡さない件数・体制・費用を見比べる判断。表の外の事情が入る
差の原因を言い切る渡さない因果は表から出てこない。もっともらしい説明が返るぶん危険が大きい
未設定や重複の扱いを決める渡さない数字の見え方が変わる決めごと。決めた理由を残す必要がある

線を引く理由は、AIの性能が低いからではありません。決めた理由を残せるかどうかの違いです。軸の選択も未設定の扱いも、半年後に「なぜこの切り方なのか」を説明できないと、次の担当者が別の切り方に変えて、時系列が切れます。判断を人が持つのは、説明する人を決めておくということでもあります。

現状の実力も、数字で見ておく価値があります。2025年に公開された、実務の分析課題450問あまりでAIエージェントを測る評価では、複数の表と業務ルールの読み取りが要る難しい課題の正解率が、最も成績のよいもので16%、次点が13%、12%、6%と報告されました。同じ評価について2025年6月に公開された論文でも、最良のエージェントで14.55%という数字が挙がっています。多段の集計と読み取りが混ざる作業は、まだ人の確認が要る水準だと置いておくのが安全です。

そのうえで、人が確認する範囲を先に決めます。全部を確かめると意味がないので、確認するのは3か所に絞ります。全体の件数が原典と一致しているか、いちばん大きいマスの件数が合っているか、差があると言われたマスの母数と件数が合っているか。この3か所が合っていれば、間の計算がずれていることはほとんどありません。合っていなければ、その表は使いません。

根拠を書かせる。母数と件数を必ず併記させる

AIに集計を手伝わせるときに、いちばん事故が起きるのは、割合だけが返ってくる場面です。「この層は反応がよい」「こちらの層は2倍以上です」という文章は読みやすく、そのまま資料に貼れてしまいます。貼った時点で、母数が7件だったことは誰にも分からなくなります。

防ぐ方法はひとつで、割合を書くときは必ず母数と件数を同じ文の中に書くという条件を、指示の側に最初から入れておくことです。条件を付けずに出力を受け取ってから直すのではなく、条件を満たさない出力は差し戻す、という運用にします。

集計を手伝わせるときに、指示へ必ず入れる4つの条件

1.割合には必ず母数と件数を添える……「このマスは母数48件、該当18件、37.5%」の形で書かせる。割合だけの文は受け取らない。

2.どのデータのどの範囲を見たかを書かせる……ファイル名と列名、対象期間、除いた行の条件を出力の先頭に書かせる。ここが書けない場合は、集計自体が別のものを見ている。

3.下限に満たないマスは、割合を書かせない……件数の下限を数字で渡し、下回るマスは件数だけを書かせる。参考値であることを明記させる。

4.差の理由を書かせない……差がどこにあるかまでを出力させ、なぜかの説明は求めない。求めると、データにない理由がもっともらしい文章で返る。

4つ目が効きます。理由を求めなければ、返ってくるのは事実の列挙にとどまります。理由を求めると、表からは分からないはずの原因が、自然な日本語で返ってくる。書かれた文章は検証されないまま社内を回るので、出させないのがいちばん確実です。原因の候補を出させたい場合は、別の作業として切り分け、必ず「これは表からは確かめられない推測」と明記させます。

出力を受け取ったあとの確認も、1つだけ決めておきます。差があると言われたマスを1つ選び、その母数と件数を原典で数え直す。全部は数えません。1つ合っていれば、他のマスも同じ手順で作られています。1つ合っていなければ、その表ごと差し戻します。

見つけた差を打ち手に変える5工程

差が見えたあと、そのまま施策にしてしまうのが最後の落とし穴です。あいだに工程を入れます。慣れれば1時間ほどで終わります。

STEP1
下限を満たすマスだけに絞る

先に決めた件数の下限を下回るマスを、候補から外します。ここで外れたマスは「差が無い」のではなく「まだ読めない」だけなので、件数がたまるまで保留の一覧に置いておきます。

STEP2
そのマスが全体のどれだけを占めるかを出す

差の大きさと同じ画面に、そのマスの件数と、全体に占める割合を並べます。差が20ポイントあっても、全体の2%しかないマスなら、動かせる総量は小さい。この2つを並べないと、大きい差から順に手を付けてしまいます。

STEP3
差の説明を2つ以上立てる

ひとつの差に対して、説明を最低2つ書きます。打ち手が効いた、層の構成が違う、期間のずれ、計測の抜け。1つしか思いつかない場合は、その1つが正しいのではなく、他を探していないだけです。

STEP4
明日変えられる説明を1つ選ぶ

立てた説明のうち、自分たちで変えられるものを選びます。層の構成の違いが原因なら、打ち手ではなく集め方の話になります。ここで選んだものが、次に試す対象です。

STEP5
小さく試して、同じ表で確かめる

試す範囲を1つのマスに限り、期間と軸を固定したまま、同じ表をもう一度作ります。表を作り変えると、効いたのか切り方が変わったのかが分からなくなります。

この5工程で効くのは3つ目です。説明を2つ以上立てるという決まりがあるだけで、思いついた1つの説明に飛びつくのを止められます。説明が1つしか無い状態は、検討が終わったのではなく始まっていない状態だと扱います。

5つ目の「表を作り変えない」も、地味ですが効きます。試した結果を見るときに、軸を少し変えたくなります。もっとよく見える切り方が見つかるからです。しかしそれをやると、効果を測っているのか切り方を探しているのかが混ざります。確かめる表は、試す前に固定して保存しておくのが確実です。

試す順番の決め方。差の大きさだけで並べない

候補が複数出たら、順番を決めます。差の大きい順に並べるのが自然に見えますが、それだと小さいマスの大きな差が先頭に来ます。件数が小さいほど差は大きく出やすいので、差の大きさだけで並べると、いちばん確からしくないものから手を付けることになります。

順番は3つの物差しで決めます。1つ目が差の大きさ、2つ目がそのマスの件数、3つ目が打ち手の重さです。1つ目と2つ目を掛け合わせた量が、うまくいったときに動く総量の目安になります。3つ目は、その打ち手を実行するのに何日かかり、誰の承認が要るかです。

この3つで並べると、順番はだいたい次のようになります。件数が大きく、差はほどほどで、打ち手が軽いものが先頭に来ます。件数が小さく差だけが大きいものは、後ろに回ります。直感には反しますが、動く総量で見れば妥当です。件数の小さいマスは、次の期間まで待てば件数がたまり、そのときに差が残っているかも同時に確かめられます。

もうひとつ守ることがあります。一度に動かすのは1つだけです。2つのマスに同時に手を付けると、全体の数字が動いたときにどちらが効いたか分かりません。特に、同じ軸の別の値に同時に手を付けると、層の構成比まで動くので、冒頭の逆転がそのまま自分の数字で起きます。

たまたま出た差に、その場で名前を付けない

軸を増やして表を作り続けると、差はいくらでも見つかります。これは能力の問題ではなく、数の問題です。5%を基準にして20通りの比較を試せば、本当は差が無くても、平均して1通りは差ありと出る計算になります。軸の候補が6つあれば掛け合わせは15通り、値の組み合わせまで数えれば数百のマスになります。何も無いところからでも、差は必ず出てくると思っておくのが正しい構えです。

見つけた差に名前を付けると、差は施策になります。「このマスは反応がよい層だ」と呼んだ瞬間に、その層向けの打ち手が動き出します。名前が付くと、後から件数を確かめる人はいなくなります。だから名前を付けるのは、再現を確かめたあとという順番にします。

順番を守るための仕掛けは2つです。1つは、表を作る前に「どのマスの差を見るつもりか」を1つか2つ書いておくこと。書いたものは仮説として扱い、それ以外のところで見つかった差は、その場では仮説にしません。もう1つは、後から見つかった差を保留の一覧に置き、次の期間の同じ表で残っているかを見ることです。

再現の確かめ方は単純です。同じ軸、同じ期間の長さ、同じ下限で、次の期間の表を作る。差が同じ向きで残っていれば採用します。消えていれば、その差は偶然だったと記録して閉じます。閉じた記録を残すことが効きます。残さないと、半年後に同じ差を別の人が見つけて、同じ検討をもう一度します。

やってしまいがちな読み方と、3か月で見る数字

読み方の失敗は、型が決まっています。どれも道具の性能ではなく、読む順番と決める順番の問題です。

  • 割合だけを見て母数を見ない。10件のマスの60%と、300件のマスの40%を同じ重さで比べてしまう
  • マスを細かくしすぎる。軸の値を増やすほど差は大きく出るが、そのぶん再現しなくなる
  • たまたま出た差に、その場で名前を付ける。名前が付くと施策が動き、誰も件数を確かめなくなる
  • 全体の数字が動いた理由を、層の構成比を見ずに施策の効果として説明する
  • 空白のマスを、その層が存在しない証拠として読む。表示されていないだけの場合がある

直し方はそれぞれ1行です。割合の隣に必ず件数を置く。軸の値は5つから7つに束ねる。名前を付けるのは再現を確かめたあとにする。率より先に層ごとの割合の推移を1枚見る。空白を見つけたら、まず期間を広げて出てくるかを確かめる。どれも表を作る前か、読み始めた最初の1分でできることです。

うまくなっているかどうかは、3か月で数字を見ます。見るのは表の枚数ではありません。枚数は増やそうと思えばいくらでも増やせるので、目標にすると本来の目的から離れます。

  • 作った表のうち、実際に打ち手が変わったものの本数(分母は配った表の総数)
  • 下限に満たないマスの割合を報告に載せてしまった回数(ゼロを目指す)
  • 仮説として先に書いたマスと、後から見つけて保留に回したマスの本数
  • 保留から再現を確かめて採用した本数と、偶然として閉じた本数

読み方も先に決めておきます。4つ目で閉じた本数がゼロなら、再現の確認そのものをしていない可能性が高いです。閉じた本数は、あっていい数字です。ゼロを目標にすると、見つけた差を全部採用することになります。見たいのは、打ち手が変わった表の割合が上がっているかと、報告に参考値が混ざらなくなったかの2つです。

まとめ

クロス分析は、全体の平均が層ごとの件数の偏りに引っ張られるのを外すための道具です。腎臓結石の治療の記録では、どちらの層でも成功率が高い治療法が、全体では低いほうに逆転していました。大学院の合格率でも、6学科のうち4学科で女性の合格率が高いのに、全体では9ポイントの差がついていました。どちらも計算の誤りではなく、層ごとの件数の配られ方が全体の平均を動かしているだけです。だから、全体の数字が動いたときに最初に見るのは施策の効果ではなく、層の構成比の推移になります。軸は、差が出るかではなく打ち手が変わるかで選びます。属性、流入元、検討段階、利用頻度、契約規模の5種類に収まることがほとんどで、差が出たときに誰が何を変えるかを1行で書けない軸は、今回は作りません。

掛け合わせた瞬間に1マスの件数は落ちます。調査の実務では1マス30件が目安で、下回るマスは参考値として扱います。回答が500件あっても、5つと4つの軸を掛け合わせれば平均は25件で、小さいマスは1桁になります。下限は表を作る前に決め、下回るマスは割合を出さない形にしておきます。道具の側でも小さいマスは隠れることがあるので、空白を見つけたら層が無いと読む前に期間を広げて確かめます。AIに渡せるのは、集計の下書き、組み合わせの列挙、差の大きいマスの抽出、文章化までです。どの軸で切るか、その差が打ち手に値するか、差の原因は何かは人が持ちます。差を書かせるときは母数と件数を同じ文に入れさせ、確認するのは全体の件数と最大のマスと、差があると言われたマスの3か所に絞る。まずは手元にある表を1枚選び、1マスあたりの件数を数えるところから始めてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

データ分析にAIを活かす第一歩、まずは導入から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

運営会社:株式会社デボノ

目次