AIに答えさせた調査がずれる原因｜使いどころと限界

「AIに顧客の役をやらせて聞いてみたら、きれいな答えが返ってきた。これ、そのまま企画書に使っていいんでしょうか」「試しに二回まわしたら、違う結果が出ました」。商品企画や調査の担当者から、この二つがほぼ同時に届きます。どちらも、使い方が下手だから起きているわけではありません。AIを回答者の代わりに置く手法には、向く用途と向かない用途がはっきり分かれています。この記事では、なぜ実態とずれるのかを原因ごとに分けたうえで、使ってよい場面と使ってはいけない場面の線を引きます。

いま何が起きているのか：回答者の席にAIを座らせる

ここ一年ほどで、調査の現場に新しい使い方が入ってきました。想定する顧客の属性をAIに与え、その人物として設問に答えさせるやり方です。数百人分の回答が数時間で集まり、費用は実在の回答者に依頼する場合と比べて桁違いに小さくなります。速く、安く、何度でもやり直せるという利点は本物です。だからこそ、どこまで信じてよいのかという線引きが要ります。

この手法は、もともと学術の側から始まりました。属性の条件を細かく与えると、実際の世論調査に似た意見の分布が再現できる、という研究が発表され、注目を集めました。ここで示されたのは、条件づけがうまくいけば集団としての傾向をなぞれる、という限定的な事実です。ところがこの結果が一人歩きし、人に聞かなくても済むという受け取られ方が広がりました。再現できたのは分布であって、個人の判断ではありません。

その後の検証は、もう少し厳しい絵を描いています。部分集団ごとのばらつきを実際より小さく見せる、意見の対立が平坦になる、複数の条件が絡む場合の関係を再現できない。こうした限界が査読を経た研究で報告されています。さらに、出てくる結果が設問の枠組みやモデルの版によって変わることも示されました。同じ質問でも、いつ誰がまわしたかで答えが動くという性質は、調査の道具としては無視できません。

用語をそろえる：呼び方は違っても中身は近い

この分野は呼び名が複数あり、社内の会話がかみ合わなくなりがちです。先に、よく使われる言い方を整理しておきます。厳密な定義が定まっているわけではなく、使う人によって範囲が違う点にも注意してください。

呼び方	何を指すか	つまずきやすい点
合成の回答者	実在しない回答者をAIに作らせ、設問に答えさせたもの	出てくるのは文章の生成であって、経験にもとづく判断ではない
AIペルソナ	想定顧客の像をAIに演じさせ、対話の形で意見を聞くもの	設定を細かくするほど、確からしさではなくもっともらしさが上がる
シリコンサンプル	属性の条件を与えて集団としての回答を作り、統計のように扱うもの	集計できる形で出るため、実在の調査と同じ精度に見えてしまう
実在の回答者による調査	人に依頼して答えてもらう従来の調査	費用と期間はかかるが、照合の基準になるのはこちらだけ

三つの呼び方には共通点があります。いずれも照合すべき正解が手元にないという点です。実在の回答者に聞いた調査であれば、別の調査や実際の購買行動と突き合わせて確からしさを議論できます。合成の回答は、比べる相手を別に用意しない限り、当たっているかどうかを確かめる手立てがありません。この一点を押さえておくだけで、社内での扱い方がだいぶ変わります。

課題：出てきた結果は、どのくらい実態と合うのか

感覚ではなく、比較の結果を見てみます。海外の市場研究機関が公開した整理では、合成の回答と人間の回答を突き合わせた285件の比較のうち、結果が近かったのは24.9%にとどまり、大きく食い違ったものが65.3%、一部だけ一致したものが9.8%でした。四件に一件しか一致していない、という数字は、期待値を修正するのに十分です。

同じ整理で、得意な領域と苦手な領域も分かれています。性格の傾向や政治的な選好のように、時間が経っても変わりにくい項目は比較的よく再現できました。一方で、消費者行動の分野で確立されている効果、つまり価格の見せ方や選択肢の並べ方が判断を変えるといった現象は、しばしば再現できませんでした。安定した属性は写せるが、買う場面での揺れは写せないという傾向です。

再現性そのものにも問題があります。代表性があるとされる設定を使っても、実行するたびに結果のばらつきが大きく、いつでも安定する最適な設定は見つかっていないと報告されています。二回まわしたら違う結果が出た、という体験は例外ではありません。冒頭に挙げた読者の声は、手法の性質がそのまま表に出たものです。ここから、ずれる原因を五つに分けて見ていきます。

原因1：学習した文章の分布に引きずられる

一つ目は、元になっている材料の偏りです。大規模なモデルが学習しているのは、公開された大量の文章です。その多くは英語圏で書かれ、都市部の、情報発信に積極的な人たちの言葉です。ネット上に文章を残しにくい層は、最初から材料に含まれていません。高齢の層、地方に暮らす層、書き言葉での発信を日常的にしない層は、実際の人口に占める割合より薄く反映されます。

この偏りは、日本市場を扱うときにさらに厄介になります。学習した文章の重心が海外にあるため、日本の商習慣や意思決定の作法とずれた回答が返ることがあります。BtoBの購買であれば、稟議の通し方、既存取引先との関係、担当者が個人で判断できる範囲。こうした点は国や業界によって大きく違いますが、AIはもっともらしい一般論で埋めてきます。知らない領域でも、知らないとは言わずに答えが出てきます。

時点のずれも同じ根から来ます。モデルが学習した文章には締め切りがあり、それ以降に起きたことは反映されていません。そのため、短期の流行、直近の値上がり、規制の変更といった話題では、古い前提のまま答えが返ります。地域に固有の事情や、オンラインに現れにくい口コミの影響にも弱いと報告されています。直近半年の動きを知りたい調査に、合成の回答は向きません。生成AIに関する市場のように動きの速い領域では、この弱点が特に効いてきます。

実務上の対処は単純です。狙う層が、文章として世に出にくい層かどうかを先に確かめること。工場の現場責任者、地方の小規模事業者、高齢の利用者といった対象なら、合成の回答は特に当てになりません。逆に、公開された議論が豊富な領域であれば、傾向をなぞる精度は上がります。対象の性質によって使えるかどうかが変わる、という前提を置いてください。

原因2：多数派に寄り、ばらつきが消える

二つ目は、回答が平均のまわりに集まってしまうことです。人に聞けば、同じ設問でも極端に高い評価と極端に低い評価が必ず混ざります。この散らばりこそが、層を見つけたり、不満の原因をたどったりする手がかりになります。合成の回答では、この散らばりが小さくなる傾向が繰り返し報告されています。平均は近くても、幅が実物より狭いという形でずれます。

影響が大きいのは、少数派を見たいときです。全体の一割にも満たない層の意見を再現しようとすると、誤差が大きくなることが指摘されています。ところが、新しい商品の芽は少数派の不満のなかにあることが多く、そこを見たくて調査をするわけです。目的と苦手分野が正面から衝突します。多数派の再現が得意で、少数派の再現が苦手というのは、調査の目的にとって最も困る組み合わせです。

この性質は、集計した表を見ているだけでは気づけません。平均値だけを比べると、実在の調査と近い数字に見えるからです。確かめるには、標準的な散らばりの幅や、選択肢ごとの回答の分かれ方まで並べて比較する必要があります。平均が合っていることを、精度が高いことの証拠にしない。この一点だけでも、報告の質は変わります。

原因3：設問のわずかな違いに過敏に反応する

三つ目は、質問の書き方に対する反応の仕方が人と違うことです。九つのモデルを対象にした研究では、人間の調査で知られている回答の癖、たとえば提示された文にとりあえず同意してしまう傾向や、選択肢の並び順で答えが変わる現象を、モデルは概して再現できませんでした。人が引っかかるところで、AIは引っかからないのです。

さらに問題なのは逆の方向です。同じ研究では、人間の回答であればほとんど変化しないような書き換えに対して、モデルの回答が動いてしまうことが示されました。語順を少し変える、表現をわずかに言い換える。人が読めば同じ意味の設問でも、返ってくる分布が変わります。設問の完成度ではなく、たまたまの言い回しが結果を左右します。

ここから導かれる作法は二つです。一つは、同じ設問を複数の書き方で流し、結果が変わらないかを見ること。変わるなら、その項目は結論に使えません。もう一つは、使った設問の全文を記録に残すことです。後から結果を検証しようとしたときに、どんな文言で聞いたのかが分からなければ、再現のしようがありません。実在の回答者への調査でも設問の記録は残しますが、合成の場合はより重要になります。

原因4：質問に迎合して、評価が甘くなる

四つ目は迎合です。対話するように作られている以上、モデルは相手の意図を汲もうとします。新しい商品案を示して感想を求めれば、良い点を探して答えます。模擬の回答者は、実際の買い手よりも好意的に評価する傾向があると指摘されています。企画者が聞きたい答えが返ってくる仕組みが、構造として組み込まれています。

この性質が最も危険なのは、満足度や推奨の度合い、そして価格の受容度を聞くときです。人が価格を判断するときには、予算の制約や、他に使えなくなる費用のことが頭をよぎります。合成の回答者には払う痛みがありません。だから、支払ってよい金額は高めに出ます。痛みを伴わない回答者は、値段の話にだけは使えません。ここを間違えると、実際には売れない価格で設計が進みます。

迎合を弱める工夫はあります。反対する立場を明示的に指定する、批判点を先に列挙させる、良い点と悪い点の数をそろえて出させる。ただし、これらはあくまで出力の見え方を変える手当てであり、評価の数値そのものを実在の回答者の代わりにできるわけではありません。批判点の洗い出しには使え、点数付けには使えない。この線を引いておくのが安全です。

原因5：もっともらしい層を、その場で作ってしまう

五つ目は作話です。専門性の高い領域や、社内でしか通用しない業務の流れについて尋ねると、自信のある口ぶりで説明が返ってきます。存在しない役職、実在しない業界慣行、聞いたことのない検討の段取り。知らないことを知らないと答えない性質は、回答者役をさせたときに最も表に出ます。人に聞けば「分かりません」で終わる質問に、合成の回答者は答えを埋めてきます。

この作話は、層の分け方にも及びます。属性を細かく指定するほど、それらしい人物像が出来上がります。ところが、その人物像が実際の市場に存在するかどうかは、まったく別の話です。設定を詳しくするほど確からしさが上がるように感じますが、上がっているのはもっともらしさだけです。細かく作り込むほど、検証が難しい結論が出てきます。

見分ける手立ては、答えの根拠を尋ねることです。なぜそう答えたのかを説明させ、その説明が実在の事実とつながるかを確かめます。つながらない場合、その回答は捨てます。根拠を書けない出力は、そのまま使わないという一線を引いておくと、作話の大半は落とせます。ただし、根拠らしい文章もまた生成されうるため、最後は人が一次の情報で確かめる必要があります。

それでも使える場面：仮説づくりと下ごしらえ

ここまで限界を並べましたが、使い道がないわけではありません。有効なのは、間違っていても後の工程で棄却できる場面です。代表が仮説の洗い出しです。ある課題について考えられる不満を三十通り挙げさせ、そのなかから実在の調査で確かめる候補を選ぶ。この使い方なら、外れた仮説は次の工程で落ちます。

設問の事前確認も相性がよい用途です。二つの内容を一度に聞いてしまっている設問、どちらとも取れる選択肢、答えようがない前提。こうした欠陥は、文章としての性質から見つけられます。実際、事前検証の用途は海外の研究機関の整理でも推奨されています。人に聞く前の設計を磨く道具としては、費用対効果が高いと言えます。

三つ目は、極端な意見の洗い出しです。想定していなかった反対意見や、思いつかなかった懸念を出させておくと、実在の調査で聞く項目に漏れがなくなります。ただし、出てきた意見が実在する割合を表すわけではない点は繰り返し確認してください。あくまで、聞くべき項目の候補を広げる作業です。

四つ目として、既にある実在のデータを補う用途も挙げられています。ただしこれは、土台となる実在のデータが十分にある場合に限った話です。手元に何もない状態で合成の回答だけを集めても、補完ではなく置き換えになります。補うという言葉が成り立つのは、補われる本体があるときだけです。デザインや表現の下見、認知の面での事前テストといった用途も、この考え方で位置づけられます。

使ってはいけない場面：数字を決めにいくとき

逆に、避けるべき用途もはっきりしています。共通するのは、出た数字がそのまま判断の根拠になる場面です。価格をいくらに設定するか、市場にその課題を持つ人が何割いるか、満足度が何点か。いずれも合成の回答から導くと、後から取り返しがつきません。次の表で、用途ごとに整理します。

やろうとしていること	回答者役をAIに任せてよいか	理由
仮説の洗い出し	使える	外れていても後の工程で棄却できる
設問の事前確認	使える	二重の質問や曖昧な選択肢は文章の性質として見つかる
反対意見の洗い出し	条件つきで使える	出てきた意見は実在する割合を表さない
価格の受容度の測定	使わない	支払う痛みがないため、払ってよい金額が高く出る
満足度や推奨度の測定	使わない	迎合により、実際の買い手より評価が甘くなる
母集団での出現率の推計	使わない	分布が学習データに引きずられ、少数派ほど誤差が大きい
意思決定の最終根拠	使わない	照合できる正解がなく、精度そのものを示せない

もう一つ、条件が複数絡む問いも外れやすい領域です。価格と機能と納期を組み合わせて、どの組み合わせなら選ばれるかを見たい場面がありますが、査読を経た検証では、複数の要因が相互に影響し合う関係を再現できないと報告されています。要因を一つずつ聞けばそれらしい答えが返るのに、組み合わせた途端に実態から離れる。単純な設問で当たったからといって、複雑な設問でも当たるとは限りません。組み合わせの評価は、実在の回答者に聞く前提で設計してください。

表の下三行に共通するのは、数値として一人歩きする性質です。四割という数字が資料に載れば、出所の但し書きは半年で忘れられます。残るのは数字だけです。だから、数値として使う予定のある項目は、最初から実在の回答者に聞くと決めておきます。ここを曖昧にしたまま始めると、途中で線を引き直すのは難しくなります。

実在の調査とどう併用するか

実務では、置き換えではなく前後の工程として組み込むのが現実的です。探索の段階は合成で広げ、確かめる段階は実在の回答者で行う。この割り振りを勧める実務者は増えていますが、比率まで一律に決められるものではありません。対象の層が文章として世に出やすいかどうかで、合成の使いどころは変わります。次の順で進めると、役割の混線を防げます。

二つ目の工程には、もう一段の作法があります。同じ設問を一つのモデルだけで流さず、複数のモデルで走らせて結果を並べることです。海外の研究機関が示した検証の手順でも、複数のモデルを使うこと、設問の書き方を変えて分布を比べることが挙げられています。モデルをまたいで同じ傾向が出た項目だけを、確かめる候補に残すという選び方をすると、後の工程に持ち込む数が現実的な量に収まります。汎用のモデルより、対象の領域に合わせて調整したもののほうが実態に近づくとも指摘されていますが、調整には元になる実在のデータが要る点は変わりません。

最後の工程を省く会社が多いのですが、ここが効きます。ずれの記録は、自社の領域に限った精度の目安になります。一般論としての限界ではなく、自社が扱う商材と顧客層でどれだけ外れるかが分かれば、次からの判断は速くなります。三回ほど積むと、どの設問なら任せてよいかが見えてきます。

使う前に確かめる六つの項目

実際に着手する前に、次の項目を確認してください。どれか一つでも埋まらない場合は、その時点で合成の回答を使う設計に無理があります。会議の場でそのまま読み上げられる粒度にしてあります。

• この問いは、実在の回答者に聞けば答えが出るものか。出るなら実在の回答者を優先する
• 出てきた結果を、何と突き合わせて確かめるかを先に決めてあるか
• 同じ設問を、書き方を変えて二通り以上流し、結果が変わらないかを見たか
• 平均だけでなく、ばらつきの幅まで手元の実データと比べたか
• 狙う層は、文章として世に出にくい層ではないか
• 結果を渡す相手に、これが合成の回答であると明記して渡す準備があるか

二つ目と六つ目が特に忘れられます。突き合わせる相手を決めずに始めると、出てきた結果を評価する手立てがないまま、それらしい表だけが残ります。明記せずに渡すと、受け取った側は実在の調査だと思って扱います。合成であることを伝える責任は、作った側にあります。

結果を報告するときに必ず添えること

社内で共有する段になったら、数字の隣に三つの但し書きを置きます。第一に、これは実在の回答者から取った数値ではないこと。第二に、使ったモデルと実施した日付、設問の全文。第三に、同じ設問を別の書き方で流したときにどれだけ結果が動いたか。三つ目まで書いてある報告は、読み手が自分で信頼度を判断できます。

添え書きを軽く見ないでください。合成の回答は、実在の調査と同じ体裁で出てくるため、表に並べた瞬間に区別がつかなくなります。半年後、その数字を引用した資料が別の部署で作られ、出所を誰も思い出せない状態になります。出所の書かれていない数字は、時間が経つほど強く信じられていきます。

報告の形としては、合成の結果と実在のデータを同じ表に混ぜないことをおすすめします。並べて比べたいときは、列を分け、見出しで区別します。混ぜた時点で、後からの検証が不可能になります。手間に見えますが、次の担当者が同じ検討をやり直さずに済む価値のほうが大きくなります。

やりがちな進め方

最後に、現場で起きやすい進め方を挙げておきます。どれも悪意なく、むしろ効率を上げようとした結果として起きます。

• 一回まわして結論にする：同じ設問でも結果は揺れるため、再現するかどうかを確かめていない
• 合成の結果を実在の調査と同じ表に並べる：出所の違いが消え、後から検証できなくなる
• 人物設定を細かく作り込む：確からしさではなく、もっともらしさだけが上がる
• 割合が出たのでそのまま使う：集計できる形で出てくるだけで、母集団を代表していない
• 予算がないから実在の調査を省く：判断の根拠にする数値だけは、削ってはいけない場所

五つに共通しているのは、出力の見た目が整っていることを、中身の確からしさと取り違えている点です。合成の回答は、体裁の整った表と読みやすい自由記述の形で出てきます。実在の調査で得られる、答え漏れや矛盾した回答や意味の取りにくい書き込みがありません。その整い方こそが、実物と違うことの証拠だと考えたほうが安全です。

安さと速さが、判断をゆがめる

この手法には、費用と時間が桁で小さいという強い利点があります。ところがこの利点が、そのまま判断をゆがめる力にもなります。まず合成でやってみて、余裕があれば実在の調査を、という順番になりがちだからです。実際には、その余裕は最後まで生まれません。安いほうが先に走ると、高いほうは永久に着手されません。

防ぎ方は、順番ではなく予算の建て方で決めます。判断の根拠にする数値は実在の回答者から取る、と先に決めて、その費用を確保しておく。合成にかける費用は、その前工程として別枠に置きます。同じ財布から出す形にすると、必ず前工程が後工程を食います。線引きは、始める前の予算の分け方で決まります。

速さの利点を殺す必要はありません。設問の設計に時間をかけ、実在の調査は一度で決める。この形にすれば、合成の速さは全体の期間短縮に効きます。合成で回数を稼ぎ、実在の調査で確度を稼ぐという分担にすると、どちらの利点も残ります。省くのではなく、前に寄せる。この置き換えができるかどうかが、成否を分けます。

AIに判断させない範囲を先に決める

この記事で扱ってきた線引きは、調査に限った話ではありません。AIを業務に組み込むときの原則と同じです。任せてよいのは、材料を広げる作業と、形を整える作業。任せてはいけないのは、事実の確定と、それにもとづく判断です。調査でいえば、聞くことを考えるのはAI、聞いた答えを数えるのは人という分担になります。

あわせて、確認する範囲を先に決めておきます。出力のうちどこを人が見るのか、何を確かめられたら次に進むのか。この設計がないまま使い始めると、量が増えたぶんだけ確認が追いつかなくなり、結局は全部を信じるか全部を捨てるかの二択になります。確認の範囲を決めることは、AIを疑うことではなく、使い続けるための設計です。

• 合成の回答は、そのまま報告書の数値にしない。出所と作り方を必ず書き添える
• 使ったモデルと実施した日付を記録する。版が変われば結果も変わる
• 顧客の個人情報を含むデータをそのまま与えない。社内の規程を先に確認する
• 実在の回答者に聞ける問いを、費用の都合で合成に置き換えない
• 合成と実在の結果がどこでずれたかを、案件ごとに残しておく

まとめ

AIに顧客役を務めさせた調査がずれるのは、使い方が下手だからではありません。学習した分布の偏り、多数派への収れん、設問への過敏さ、迎合、存在しない層の生成という五つが、手法そのものに組み込まれています。合成と人間を比べた285件の比較で結果が近かったのは24.9%という数字は、期待値を現実に合わせるのに十分でしょう。使うなら、仮説の洗い出し、設問の事前確認、反対意見の洗い出しまで。価格や満足度や出現率といった、数値として一人歩きする項目は実在の回答者から取る。そして結果を渡すときは、合成であることと使った設問を必ず添える。この線を先に引いておけば、速さと安さの利点だけを、安全に受け取れます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。