自由記述の分類はAIに任せてよいか｜結論を出せる集め方

「回答が30件ほどしか集まらず、報告に使ってよいか迷う」「自由記述の欄は読むのが大変で、結局誰も読んでいない」——アンケートを回している現場で重なる悩みです。結論を左右するのは、件数ではありません。誰が答えたかという偏りと、集計しにくい欄の扱いです。この記事では、結論を出せる集め方と、自由記述をAIに渡すときの線引きを整理します。

この件数で報告してよいのか

最初に、迷いの正体を整理します。

アンケートを実施し、回答が集まった。しかし件数が少なく、報告に使うか迷います。

この迷いには、2つの別の問題が混ざっています。

1つは件数による誤差、もう1つは回答した相手の偏りです。

誤差は、計算で見積もれます。件数が増えれば小さくなります。

偏りは、件数を増やしても解決しません。

むしろ、件数が多いほうが結論を強く信じてしまう危険があります。

実務で問題になるのは、多くの場合こちらです。

たとえば、関心の高い相手だけが答えたアンケートがあります。

この結果は、全体の傾向とは違う数字になります。

件数が500件あっても、偏っていれば同じことです。

そのため、確認する順番は偏りが先になります。

以降では、誤差の目安、偏りの原因、対処の順に整理します。

あわせて、少ない件数でも言える範囲を確認します。

報告の書き方も、最後にまとめます。

件数と誤差の関係

計算で見積もれる部分です。

回答の件数から、結果の誤差の目安が計算できます。これが標本誤差と呼ばれるものです。

信頼度95%の場合、100件で誤差は±10%程度が目安とされています。

400件であれば、±5%程度になるとされています。

つまり、100件で40%という結果が出た場合、実際は30%から50%の範囲にある可能性があります。

この幅を知らずに、40%という数字だけを報告すると誤解を招きます。

回答数	誤差の目安	言えること
30件程度	かなり大きい	傾向の把握や仮説づくりに使う
100件程度	±10%程度	大きな差があれば傾向として示せる
400件程度	±5%程度	重要な判断の材料にできる
1,000件程度	±3%程度	細かい差も比較できる

上の表は、目安として使えます。

重要な判断に使う場合は、400件程度が基準とされることがあります。

一方で、社内のアンケートや小規模なイベントの調査では扱いが違います。

対象となる集団そのものが小さい場合、100件で足りる場合もあります。

50人の集団に対する調査であれば、30件でも半分以上を捉えています。

そのため、件数だけでなく、対象の規模との関係で判断します。

この関係を確認せずに、件数だけを気にすると判断を誤ります。

次の節では、対象の規模の決め方を確認します。

件数が多くても使えない場合

偏りの問題です。

回答が多く集まっても、結論を誤る場合があります。回答した相手が特定の性質に偏っている場合です。

回答率が低い調査では、この偏りが生まれやすくなります。

答えた相手には、答えるだけの理由があります。

時間に余裕がある人、テーマに強い関心を持つ人が中心になります。

この結果は、全体の意見を正確には表しません。

たとえば、満足度の調査を考えます。

強い不満を持つ人と、強い満足を持つ人は答えやすくなります。

特に意見のない多数は、答えません。

結果として、両端の意見が強く出る形になります。

この形を全体の傾向として報告すると、判断を誤ります。

別の例は、配布の方法による偏りです。

メールで配布すれば、メールを見る人しか答えません。

イベントの会場で配れば、参加した人の意見しか集まりません。

どちらも、集めたい対象の一部です。

この制約を認識してから、結果を読みます。

偏りが生まれる原因

どこで生じるかです。

偏りは、複数の段階で生まれます。誰に配ったか、誰が答えたか、どう聞いたかのそれぞれです。

最初の段階は、配る相手の選び方です。

既存の顧客だけに配れば、既に選んだ相手の意見になります。

検討したが選ばなかった相手の意見は入りません。

2番目の段階は、答えるかどうかの選択です。

関心の高い相手が答えやすくなるため、ここで偏りが生じます。

3番目の段階は、聞き方による影響です。

設問の言葉や順序によって、答えが変わります。

誘導する形の設問では、望む答えが集まります。

これらの偏りは、完全には避けられません。

重要なのは、どの偏りがあるかを認識することです。

認識していれば、結論の範囲を限定できます。

既存の顧客に配った調査であれば、既存の顧客の傾向として扱います。

全体の傾向として扱わなければ、誤った判断は避けられます。

この限定を、報告に明記します。

対象となる集団を決める

最初に決める内容です。

調査を始める前に、誰の意見を知りたいかを決めます。この対象が決まらなければ、件数の判断もできません。

対象の規模が分かれば、必要な件数の目安も出ます。

たとえば、既存の顧客300社の意見を知りたい場合です。

この場合、300社が対象の規模になります。

100件の回答があれば、3分の1を捉えたことになります。

一方で、業界全体の傾向を知りたい場合は違います。

対象が数万社であれば、100件では一部にすぎません。

この違いを認識せずに、同じ件数で判断すると誤ります。

対象を決める際は、具体的に書きます。

業種、規模、役職といった条件を明記します。

条件が曖昧だと、集まった回答の位置づけが分かりません。

あわせて、その対象にどう届けるかを考えます。

届ける手段がなければ、対象を変える判断も必要になります。

この検討を、設問を作る前に行います。

設問から作り始めると、対象が後付けになります。

必要な件数が決まれば、配る数も逆算できます。回答の率を見込んで、配布の数を決めます。

メールでの依頼では、回答の率が低くなる傾向があります。

仮に率が5%であれば、100件を集めるには2,000件の配布が必要になります。

この計算をしておかないと、件数が集まらないまま締切を迎えます。

リストの規模が足りない場合は、複数回に分けて依頼します。

あるいは、対象を絞って必要な件数を下げる判断もあります。

社内のアンケートや、取引のある相手への依頼では率が上がります。

関係の近さによって、見込む率を変えます。

過去に実施した調査の率が分かれば、それを目安にします。

配る相手で結論が変わる

配布の設計です。

同じ設問でも、配る相手が違えば結果は変わります。この違いは、件数では埋められません。

複数の経路で配ることで、偏りを小さくできます。

メール、サイト、イベント、営業からの依頼といった経路があります。

それぞれで集まる相手の性質が違います。

経路ごとに回答を記録しておけば、後から比べられます。

経路によって結果が違う場合、偏りが確認できます。

同じ傾向であれば、その傾向は確かなものと判断できます。

記録の方法は、設問に経路を含める形が簡単です。

あるいは、経路ごとに別のURLで配る方法もあります。

外部の調査の仕組みを使う方法もあります。

条件に合う相手に配ることができ、偏りを抑えられます。

ただし費用が発生します。

判断の重要度に応じて、使い分けます。

重要な投資の判断であれば、費用をかける価値があります。

日常の改善であれば、既存の経路で足ります。

回答を集めるための工夫

率を上げる方法です。

回答の率が上がれば、偏りは小さくなります。答えなかった相手の割合が減るためです。

設問の数を減らすことが、最も効果のある方法になります。

所要の時間を明示すると、答える判断がしやすくなります。

1分で終わる調査であれば、答える相手が増えます。

設問が20問あれば、途中で離脱されます。

必要な設問だけに絞ります。

あれば良い設問は、削る判断をします。

スマホで答えられる形にすることも重要です。

画面の幅に収まらない形では、途中で離脱されます。

依頼の文面も影響します。何のための調査かを書きます。

結果をどう使うかが分かれば、答える理由になります。

結果を共有すると伝える方法も有効です。

回答した相手にとって、価値のある見返りになります。

締切を示すことも、回答を促します。

期限がなければ、後で答えようという判断になります。

謝礼を用意する方法もあります。ただし、結果に影響する場合があります。

謝礼を目的とした回答が混ざり、内容が薄くなることがあります。

対象を絞った調査では、謝礼よりも依頼の文面のほうが効きます。

誰からの依頼かが分かれば、答える判断につながります。

担当者の名前で依頼する形が、会社名だけの依頼より効く場合があります。

調査の結果を共有する形の見返りも有効です。

同業の傾向が分かる資料は、答える側にも価値があります。

この形であれば、関心の高い相手が答えるという偏りは残ります。

偏りを認識したうえで使う判断になります。

設問の順序が答えを変える

聞き方の影響です。

設問の順序によって、答えが変わります。前の設問が、次の答えに影響します。

たとえば認知を聞く場合、ヒントなしを先に聞く必要があります。

選択肢を示してから聞くと、それがヒントになります。

順序を逆にすると、正しい結果が得られません。

満足度を聞く場合も、順序が影響します。

良い点を先に聞けば、全体の評価が高くなる傾向があります。

問題点を先に聞けば、評価が低くなります。

そのため、全体の評価は最初に聞く形が一般的です。

詳細を聞いた後では、その内容に影響されます。

設問の言葉も影響します。

否定を含む設問は、誤解されやすくなります。

2つの内容を1つの設問で聞く形も避けます。

どちらに答えたか分からなくなります。

作った設問は、社内の数人に試してもらいます。

誤解される設問は、この段階で見つかります。

選択肢の作り方

答えの受け皿です。

選択肢の作り方も、結果に影響します。該当する選択肢がなければ、正確な答えは得られません。

その他の欄だけでは、実態が分かりません。

想定される答えを、事前に洗い出します。

営業や支援の担当に聞けば、実際の声が分かります。

選択肢の数は、多すぎても選ばれません。

5つから7つ程度に収める形が扱いやすくなります。

順序も影響します。上に並んだ選択肢が選ばれやすくなります。

重要な選択肢を上に置くと、結果が偏ります。

順序を入れ替えて配る方法もあります。

段階を聞く場合は、段階の数を決めます。

5段階か7段階が一般的に使われます。

中間の選択肢を置くかどうかも判断します。

置けば、判断を避ける相手が集まります。

置かなければ、無理に選ばせることになります。

どちらにも理由があるため、目的で決めます。

自由記述の扱い

数字にならない部分です。

自由に書いてもらう欄は、貴重な情報になります。ただし、数として扱うことはできません。

書いた相手は、特に意見のある相手に限られます。

3件の意見があっても、全体の3件分の比率ではありません。

そのため、割合として報告する形は避けます。

使い方は、選択肢では拾えない内容を知ることです。

想定していなかった問題や、具体的な場面が分かります。

この内容が、次の調査の選択肢になります。

整理する際は、内容ごとに分類します。

似た内容をまとめれば、傾向が見えます。

引用して報告する場合は、原文のまま使います。

要約すると、意図が変わる場合があります。

個人が特定される内容は、扱いに注意します。

社内で共有する範囲を決めておきます。

記述の欄は、必須にしません。

必須にすると、回答そのものが減ります。

氏名や連絡先を聞く場合は、扱いを明示します。何に使うかを、回答の前に書きます。

社内での共有の範囲や、営業からの連絡があるかどうかも書きます。

この記載がないまま連絡すると、信用を失います。

連絡を希望するかどうかを、選べる形にする方法もあります。

匿名で集めた回答を、後から個人と結びつける形は避けます。

回答の保管の期間も決めておきます。

必要がなくなった情報を持ち続けると、管理の負担になります。

外部の仕組みを使う場合は、その事業者の扱いも確認します。

自社の方針と合っているかを見ます。

少ない件数で言えること

使い方の限定です。

件数が少なくても、使い道はあります。言える範囲を限定すれば、判断の材料になります。

30件程度であれば、傾向の把握や仮説づくりに使えます。

たとえば、想定していなかった課題が複数から挙がった場合です。

これは、詳しく調べる価値があるという判断につながります。

一方で、割合を細かく比べる使い方はできません。

30件で42%と38%の差を示しても、意味はありません。

大きな差がある場合に限り、傾向として示せます。

報告する際は、件数と対象を明記します。

32件の回答であれば、そう書きます。

パーセントだけを示す形は避けます。

32件の3割は10件です。実数を併記すれば、規模が伝わります。

あわせて、次に何をするかを書きます。

件数を増やす、対象を変える、詳しく聞くといった次の手です。

この形であれば、少ない件数でも報告の価値があります。

使えないと判断して捨てるより、次につながります。

報告の書き方

誤解を防ぐ形です。

結果を報告する際には、数字だけでなく条件も書きます。条件が抜けると、数字が独り歩きします。

書く条件は、対象、期間、経路、回答数の4つです。

誰に配り、いつ集め、どの経路で、何件集まったかです。

この4つがあれば、読む側が結果の位置づけを判断できます。

件数が少ない場合は、その旨も明記します。

傾向の把握に使う段階であることを書きます。

パーセントを示す場合は、実数を併記します。

誤差の目安を添える方法もあります。

100件の調査であれば、±10%程度という補足を付けます。

この補足があれば、細かい差での議論を避けられます。

グラフを使う場合も、件数を明記します。

円グラフだけを見ると、規模が分かりません。

時系列で比べる場合は、条件をそろえます。

対象や聞き方が違えば、比較になりません。

この点も、報告に書いておきます。

継続して測る場合

比べられる形にします。

同じ調査を定期的に行う場合、条件をそろえます。条件が変われば、比較になりません。

設問の言葉を変えると、答えも変わります。

そのため、比較したい設問は変えずに残します。

追加したい設問は、末尾に足します。

配る相手と経路も、そろえます。

前回はメール、今回はイベントの会場という形では比べられません。

時期もそろえます。年度末と年度始めでは、状況が違います。

これらの条件を記録に残しておきます。

記録がなければ、次回に同じ条件で行えません。

記録する内容は、設問の全文、対象、経路、期間、件数です。

担当が変わっても、同じ調査ができる状態にします。

結果の比較では、誤差の幅を意識します。

100件の調査で3%の変化があっても、誤差の範囲内です。

変化として扱えるのは、誤差を超える差になります。

この判断を、報告の段階で行います。

匿名にするか記名にするかも、結果に影響します。記名では、率直な回答が減る傾向があります。

特に不満や問題点を聞く場合、この影響が出ます。

一方で、匿名では後から詳しく聞くことができません。

そのため、目的によって使い分けます。

実態や不満を知りたい調査は、匿名にします。

個別の対応につなげたい調査は、記名にします。

両方を満たしたい場合は、記名を任意にする方法があります。

詳しく聞いてよい相手だけが、連絡先を書く形です。

継続して測る場合は、この扱いも毎回そろえます。

確認する項目

実施の前と後に見ます。

• 誰の意見を知りたいかを、業種や役職まで具体的に決めたか
• 対象の規模に対して、必要な件数の目安を出したか
• 複数の経路で配り、経路を記録できる形にしたか
• 設問の順序が、前の設問の影響を受けない並びになっているか
• 社内の数人に試してもらい、誤解される設問を直したか
• 報告に対象・期間・経路・回答数を明記したか

この6項目で、結果の信頼性が変わります。1行目と2行目は、実施の前に決めます。

対象が決まらなければ、件数の判断もできません。

3行目は、偏りを確認するための準備です。

経路の記録がなければ、後から偏りを検証できません。

4行目と5行目は、設問の設計に関わります。

順序の影響は、気づかないまま結果を歪めます。

試してもらう作業は、10分程度で終わります。

6行目は、報告の段階の確認です。

条件が書かれていなければ、数字が誤って使われます。

この6項目を、調査の手順として残しておきます。

毎回同じ手順で行えば、比較もできます。

やりがちな失敗

実際に起きている例です。

• 30件の回答で、42%と38%の差を意味のある違いとして報告する
• 回答数だけを気にして、誰が答えたかの偏りを確認しない
• パーセントだけを示し、実数と回答数を書かない
• 認知を聞く際に選択肢を先に示し、ヒントを与えてしまう
• 前回と設問の言葉を変えたまま、時系列で比較する

1行目は最も多い失敗です。誤差の幅を超える差だけを扱います。

2行目は、判断を誤る原因になります。経路を記録して確認します。

3行目は、実数を併記すれば規模が伝わります。

4行目は、順序の問題です。ヒントなしを先に聞きます。

5行目は、比較の前提が崩れています。設問は変えずに残します。

どれも、実施の前に手順を決めておけば防げます。

進める5工程

順番に進めます。

• 回答が少ない場合は、傾向の把握に使う段階であることを明記する
• 自由記述は割合として扱わず、選択肢では拾えない内容を知るために使う
• 継続して測る場合は、比較したい設問の言葉を変えない
• 経路によって結果が違う場合は、偏りがあると判断する
• 設問の数を減らすことが、回答率を上げる最も効果のある方法になる

この5工程と5つの注意で、結論を出せる調査になります。

1工程目が最も重要になります。

対象が曖昧なままでは、集まった回答の位置づけが分かりません。

2工程目で、費用をかけるかどうかも決まります。

3工程目は、後から検証するための準備です。

4工程目は、10分程度の作業で結果の質が変わります。

5工程目まで行えば、数字が誤って使われることを防げます。

自由記述をAIで分類し、原文を必ず残す

自由記述は、顧客が自分の言葉で書いた唯一の場所です。ここに、こちらが用意した選択肢にはなかった課題が出てきます。

回答をそのまま生成AIに渡し、「内容ごとに分類し、各分類に該当する回答の原文をすべて添えて返す」と指示します。要約ではなく原文を添えさせることが要点です。要約された時点で、顧客の言葉づかいという最も価値のある部分が失われます。

分類名もAIに付けさせますが、そのまま使わないほうがよいことが多いです。無難な分類名になりがちなので、原文を読んだ人が付け直します。

偏りの検出はAIより設計で防ぐ

分類が済むと、多かった意見が正しいように見えてきます。しかし回答者が既存の優良顧客に偏っていれば、その意見は「すでに満足している人の意見」でしかありません。

生成AIに偏りの判定を求めても、回答の中身しか見ていないため気づけません。誰に配ったかの記録と突き合わせるのは人の仕事です。回答者の属性の分布を先に出し、それが狙った母集団とずれていないかを確認してから、はじめて分類結果を読みます。

まとめ

アンケートの結果を判断する際には、件数による誤差と回答した相手の偏りを分けて考えます。信頼度95%の場合、100件で誤差は±10%程度、400件で±5%程度が目安とされています。100件で40%という結果は、30%から50%の範囲にある可能性があります。

件数を増やしても、偏りは解決しません。回答率が低い調査では、時間に余裕がある人やテーマに強い関心を持つ人が中心になります。この偏りを認識せずに全体の傾向として扱うと、判断を誤ります。経路ごとに記録しておけば、後から偏りを確認できます。

件数が少なくても、言える範囲を限定すれば使えます。30件程度であれば、傾向の把握や仮説づくりの材料になります。報告には対象、期間、経路、回答数を明記し、パーセントには実数を併記します。この形であれば、数字が誤って使われることを防げます。

アンケートで結論を出せないのは、件数が足りないからではなく、自由記述が読まれないまま終わるからです。分類を生成AIに寄せ、原文と偏りの確認は人が持つ。この形にすると、同じ回答数でも取り出せる情報が変わります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。