アンケートの設問で確認する項目一覧|偏りを生まない聞き方

「満足度は9割なのに、次回の申込が伸びない」「良い数字が出ても、次の打ち手が決まらない」——催しの後に調査票を配っている企業で起きるずれです。9割という数字は、参加者の実感をそのまま映したものとは限りません。聞き方が作った数字である可能性があります。この記事では、偏りを生まない設問の項目を整理します。
カメ先生調査の結果はね、参加者の本音がそのまま出ると思われがちだが、設問の書き方で数字はかなり動くんだ。
カメ子聞き方で答えが変わる、ということでしょうか。
カメ先生変わるよ。ご満足いただけましたかと尋ねれば、はいに寄る。選択肢を中立に並べ直すだけで数字が下がる。
カメ子数字を疑う前に、設問を見るのですね。
- 調査票の要素は、題名・質問文・選択肢・設問の順序の4つ
- 1つの質問で2つを聞くと、答えようがなくなる
- 偏りは6つの型に整理できる。型を知れば避けられる
データ分析にAIを活かす第一歩、まずは導入から始めませんか?
デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。
聞き方を変えると、答えは変わる
アンケートの結果は、客観的な事実に見えます。数字で出るため、そう受け取られます。しかし、答えは聞き方に強く影響されます。同じ相手に、別の聞き方をすれば別の結果が出ます。この前提を、まず共有します。
解説では、この現象が定義されています。回答者の心理、質問の設計、調査の状況によって偏りや歪みが生じるとされます。誘導的な質問や、望ましい答えを選ぶ心理が原因です。本来の意見と異なる結果が出る、とされます。
問題は、この歪みが見えないことです。出てきた数字には、歪みの印が付きません。9割という数字は、9割として報告されます。その数字をもとに、判断が行われます。誤った判断が、そこから始まります。
防ぐ方法は、設計の段階にあります。回収した後では、歪みは直せません。作るときに、型を知って避けるしかありません。幸い、避けるべき型は整理されています。この記事では、その型を扱います。
対象は、法人での実務のアンケートです。催しの後の感想、顧客の満足度、社内の調査です。専門の調査会社に頼まない、自前の調査を想定します。その場合でも、最低限の設計はできます。むしろ、自前だからこそ型が要ります。
進め方は、要素ごとに見ていきます。題名、質問文、選択肢、順序の4つです。そのうえで、偏りの型を整理します。最後に、事前の試行と読み方をまとめます。1枚の確認の一覧に、落とし込みます。
調査票を作る、4つの要素
調査票の設計は、4つの要素に分けられます。解説では、明確に整理されています。題名、質問文、選択肢、設問の順序の4つです。このうち、質問文だけに注目されがちです。しかし、残りの3つも結果を左右します。
題名は、最初に目に入ります。回答者の意識に、影響を与えます。後の回答全体に、偏りを生む力があります。見落とされやすい要素です。次の節で、詳しく扱います。
質問文は、最も注意される要素です。しかし、誤りが多い部分でもあります。1つの質問で2つを聞く、誘導する、曖昧にするなどです。型を知らないと、無意識に犯します。後の節で、代表的な誤りを扱います。
選択肢は、答えの範囲を決めます。用意されていない答えは、選べません。選択肢の設計が、結果の形を決めます。並べる順序も、影響します。この点も、後の節で扱います。
設問の順序は、思考の流れを作ります。解説では、原則が示されています。回答者の思考の流れを妨げないよう、論理的に納得のいく順番で並べるとされます。過去から現在、そして将来という流れが例に挙がります。
この4つを、設計の対象として扱います。質問文だけを何度も直しても、足りません。4つすべてを、確認します。最後に示す確認の一覧も、この4つで構成します。抜けが、なくなります。
題名で、答えが動く
最初の偏りが、題名から生まれます。解説では、型として整理されています。題名が回答者の意識に影響を与え、後の回答に偏りが生じやすいとされます。回答を始める前から、方向が決まります。気づかれにくい、強い影響です。
例も、示されています。環境にやさしい活動についての調査、という題名です。この題名だと、環境に配慮した回答を選びやすくなるとされます。回答者は、期待に沿おうとします。悪意はなく、自然に起きる現象です。
実務では、この型が頻繁に起きます。満足度調査、という題名が典型です。満足を測る前提が、伝わっています。不満を書きにくい空気が、生まれます。題名を変えるだけで、結果が変わります。
対策は、中立的な題名にすることです。解説でも、この対策が示されています。今回の催しについてのご意見、といった形です。評価の方向を、含めない表現にします。簡単ですが、効果があります。
導入の文章も、同じ注意が要ります。改善のためにご協力ください、という文です。協力を求められると、好意的に答えがちです。率直なご意見をお願いします、のほうが中立です。文言を、見直します。
依頼する人の存在も、影響します。担当者が目の前で渡すと、書きにくくなります。回収の方法も、あわせて設計します。後の節で、匿名性の扱いを扱います。題名だけの問題では、ありません。
1つの質問で、2つを聞かない
質問文の誤りで最も多いのが、これです。解説では、名前が付いています。1つの質問文で2つ以上を同時に聞く質問です。最大の問題は、一度に2つ以上の情報を取ろうとする点だとされます。回答者は、答えようがなくなります。
解説の例が、分かりやすく示しています。会社の福利厚生と労働環境に満足していますか、という質問です。片方に満足し、片方に不満な人は答えられません。二択では、真意を伝えられないとされます。どちらを答えても、事実と違います。
この誤りは、実務でよく起きます。内容と進行に満足しましたか、という形です。説明と資料は分かりやすかったですか、も同じです。接続する言葉が入ると、疑ってみます。と、や、および、が目印になります。
直し方は、単純です。質問を、2つに分けます。内容について1問、進行について1問です。設問数は増えますが、答えられる形になります。得られる情報も、増えます。
分けると設問が多くなる、という懸念があります。その場合は、優先度の低い設問を削ります。曖昧な設問を残すより、有効です。答えられない設問は、そもそも無価値です。数より、答えられるかで判断します。
確認の方法も、簡単です。各設問を読み、聞いていることを数えます。2つ以上なら、分けます。この確認だけで、大きく改善します。作った後に、必ず行います。
同意しやすい聞き方を避ける
次の型が、同意を誘う聞き方です。解説では、こう定義されています。回答者が質問に対して、無意識に同意しやすくなる偏りです。肯定の形で聞かれると、肯定しやすくなります。人の性質として、自然に起きます。
例も、示されています。この製品は素晴らしいと思いますか、という質問です。この形だと、はいと答えやすくなるとされます。冒頭の例の、満足いただけましたかも同じ形です。満足を前提に、確認しています。
対策も、示されています。中立的な質問の設計です。この製品についてどう思いますか、という形です。評価の方向を、含めません。回答者が、自分で位置を選びます。
実務での言い換えは、いくつかあります。満足しましたか、ではなく、どの程度だったかを段階で聞く形です。肯定と否定を、対等に並べます。選択肢の作り方も、あわせて設計します。
否定の形で聞くのも、同様に問題です。不満な点はありましたか、という形です。今度は、不満を探させることになります。どちらにも寄らない形を、探します。中立が、原則です。
自由記述の設問でも、同じです。良かった点をお書きください、という形です。良い点しか集まりません。お気づきの点、という中立の表現にします。得られる情報の幅が、広がります。
望ましい答えを、選んでしまう
3つ目の型が、社会的な望ましさによる偏りです。解説では、こう定義されています。回答者が、社会的に望ましいとされる回答を選びがちになる偏りです。本音ではない答えが、集まります。誘導していなくても、起きます。
例として、行動を問う設問が挙げられています。実際にしていなくても、していると答える傾向です。望ましいとされる行動ほど、この傾向が強くなります。法人の調査でも、同じことが起きます。研修の受講状況や、規則の遵守などです。
対策も、示されています。回答者の匿名性を確保することです。誰の回答か分からない形にします。社会的な圧力を減らす設問の設計も、有効です。この2つを、組み合わせます。
実務では、匿名の確保が難しい場合があります。参加者が10人の催しなどです。属性を聞くと、個人が特定できてしまいます。その場合は、属性の設問を削ります。分析の精度より、率直さを優先します。
回収の方法も、影響します。その場で担当者に手渡す形は、書きにくくなります。封筒に入れる、後日に送るなどの方法があります。電子の形式なら、匿名にしやすくなります。回収の設計も、調査の一部です。
体裁を良く見せる偏りも、同じ型です。解説では、別の型として整理されています。自分の立場や実績を、高く見せようとする傾向です。対策は、同じく匿名性の確保です。望ましさを感じさせない設問にします。
最初の情報に、引きずられる
4つ目の型が、先に見た情報の影響です。解説では、こう定義されています。最初に提示された情報が、その後の回答に影響を与えます。数字を先に見せると、その近辺で答えます。無意識に、基準として使われます。
例も、示されています。商品の価格を先に提示し、安いと感じるかを問う形です。提示した数字が、判断の基準になってしまいます。価格の調査で、特に問題になります。自社の希望の価格を、先に見せないことです。
対策として、順序の無作為化が示されています。質問や選択肢の順序を、回答者ごとに変える方法です。電子の形式なら、設定で実現できます。紙の場合は、複数の版を用意します。手間はかかりますが、効果があります。
選択肢の並び順も、同じ影響があります。上にある選択肢が、選ばれやすくなります。特に、選択肢が多い設問で顕著です。重要な設問では、順序を変えた版を用意します。結果を比べれば、影響の大きさも分かります。
設問の並びも、影響します。前の設問が、次の設問の答えに影響します。満足度を聞いた後に、推奨の意向を聞く場合などです。満足と答えた人は、推奨すると答えやすくなります。独立して見たい設問は、離して配置します。
なお、無作為化にも限界があります。論理的な順序が必要な設問もあります。時系列や、条件による分岐です。そこは、順序を固定します。すべてを無作為にする必要は、ありません。
記憶は、前倒しになる
5つ目の型が、記憶の歪みです。解説では、こう定義されています。過去の出来事を、実際よりも最近のこととして記憶する現象です。期間を区切って聞くと、この影響が出ます。件数が、実際より多く集計されます。
例も、示されています。過去1年間の回数を問う設問です。2年前の出来事も、含めて答えてしまうとされます。その結果、頻度が過大に出ます。この数字をもとに判断すると、見誤ります。
対策として、2つが示されています。具体的で簡潔な質問文にすることです。そして、明確な時間の枠を指定することです。この半年、この3か月、といった短い区切りが有効です。長い期間ほど、歪みが大きくなります。
実務では、直近の期間で聞きます。1年ではなく、3か月にします。必要なら、その値から年間を推計します。推計のほうが、直接聞くより正確なことがあります。この点は、直感に反します。
時期を特定する工夫も、有効です。年度の始まり以降、といった区切りです。出来事と結びつけると、思い出しやすくなります。催しの後なら、催しの日を基準にします。記憶の手がかりを、与えます。
そもそも、記憶に頼らない方法もあります。自社の記録で、確認できる項目です。問い合わせの回数や、資料の取得の回数です。聞かずに済むなら、聞かないほうが正確です。設問を減らす効果も、あります。
選択肢の作り方
選択肢は、答えの範囲を決めます。用意されていない答えは、選べません。回答者は、近いものを無理に選ぶことになります。その時点で、事実と離れます。選択肢の設計は、質問文と同じくらい重要です。
原則は、3つあります。1つ目が、重ならないことです。3年以上と、5年以上が並ぶと選べません。区切りを、明確にします。作った後に、重複を確認します。
2つ目が、漏れがないことです。想定外の答えの人が、選べなくなります。その他の欄を、必ず用意します。自由記述の欄を、あわせて置きます。想定外の答えこそ、価値があります。
3つ目が、粒度がそろっていることです。細かい選択肢と、大きな選択肢が混在しないことです。細かい側に、票が分散します。分類の階層を、そろえます。分析の際に、扱いやすくなります。
| 確認する要素 | 避けるべき形 | 望ましい形 |
|---|---|---|
| 題名 | 評価の方向を含む題名 | 中立的で、内容だけを示す題名 |
| 質問文 | 1つの質問で2つを聞く形 | 1つの質問で1つだけを聞く形 |
| 選択肢 | 重なりや漏れがある区切り | 重ならず、漏れがなく、粒度がそろう |
| 設問の順序 | 前の設問が次に影響する並び | 思考の流れに沿い、独立性を保つ並び |
段階で聞く場合は、数を決めます。4段階か、5段階が一般的です。中間の有無で、結果が変わります。次の節で、この点を扱います。設問ごとに変えず、統一します。
中間の選択肢を、置くかどうか
段階で聞く際の論点が、中間の扱いです。どちらとも言えない、を置くかどうかです。置くと、そこに集まる傾向があります。特に、答えにくい設問で顕著です。判断の材料に、ならなくなります。
解説では、精度を高める方法の1つとして中間の選択肢を排除することが挙げられています。具体的な意見を求める設計にするためです。4段階にして、どちらかに寄せる形です。施策の判断には、この形が向きます。
一方で、置くべき場合もあります。実際に、中立の意見が存在する場合です。無理に選ばせると、事実と離れます。知らない、経験がない場合も同様です。その場合は、別の選択肢を用意します。
実務的な折衷案があります。中間を置かず、対象外の選択肢を置く形です。該当しない、分からない、を別に用意します。中立と、判断できないを分けられます。分析の際に、区別できます。
段階の数も、統一します。設問ごとに変えると、比較できません。調査票の全体で、同じ形にします。回答者の負担も、軽くなります。次回の調査とも、比較できます。
表現も、対称にします。非常に良い、良い、あまり良くない、良くないです。肯定側だけ段階が多い形は、偏ります。肯定と否定を、同じ数だけ置きます。この対称性が、中立を担保します。
設問の順序を設計する
順序にも、原則があります。解説では、こう示されています。思考の流れを妨げないよう、論理的に納得のいく順番で並べます。唐突な話題の変更は、負担になります。途中で離脱する原因にも、なります。
例として、時間の流れが挙げられています。過去から現在、そして将来という並びです。自然な思考の流れに沿った質問になるとされます。経験を聞いてから、今の評価を聞きます。最後に、今後の意向を聞きます。
答えやすい設問を、先に置く工夫もあります。最初が難問だと、そこで離脱します。選ぶだけの設問から、始めます。自由記述は、後半に置きます。この配置で、回答率が上がります。
属性の設問は、最後に置きます。最初に聞くと、身構えられます。匿名性への不安が、先に立ちます。本題を答えた後なら、抵抗が減ります。必要最小限の項目に、絞ります。
設問の数も、設計します。多いほど、後半の質が落ちます。催しの後なら、5問から7問が現実的です。所要時間を、冒頭に明示します。2分で終わります、と書くだけで回答率が変わります。
影響し合う設問は、離します。満足度と、推奨の意向などです。隣接すると、前の答えに引きずられます。間に、別の話題の設問を挟みます。独立性を、保てます。
事前に試してから配る
設計が終わったら、試します。解説でも、精度を高める方法として挙げられています。小規模な集団での事前の試行です。本番の前に、必ず行います。所要は、30分程度で済みます。
試す相手は、社内で構いません。ただし、調査の内容を知らない人にします。作った本人は、意図が分かるため気づけません。別の部門の人に、実際に答えてもらいます。3人から5人で、十分です。
見るべきは、3点です。答えに迷った設問、意味が分からなかった設問、選択肢に自分の答えがなかった設問です。答え終わった後に、聞き取ります。所要時間も、あわせて測ります。
よく見つかるのが、言葉の問題です。社内でしか通じない言葉が、入っています。回答者には、意味が分かりません。言い換えるか、説明を添えます。この発見だけでも、試す価値があります。
- 満足いただけましたか、と肯定を前提にした形で聞く
- 内容と進行に満足しましたか、と1問で2つを聞く
- 参加者が少ないのに属性を細かく聞き、匿名性を失わせる
- 作った本人だけで確認し、事前の試行をせずに配布する
この調査で、何を判断したいのかを1文にします。判断に使わない設問は、この時点で削ります。目的が書けなければ、調査そのものを見送ります。
題名、質問文、選択肢、設問の順序を順に確認します。1問で2つを聞いていないか、肯定を前提にしていないかを見ます。選択肢の重なりと漏れも、あわせて確認します。
別の部門の人に、実際に答えてもらいます。迷った設問、意味が分からなかった設問を聞き取ります。所要時間も測り、想定と合っているかを確認します。
直した箇所が、新たな問題を生んでいないかを見ます。2回目は、1人で構いません。この往復を終えてから、配布します。
修正した後は、もう一度試します。直した箇所が、新たな問題を生むことがあります。2回目は、1人で構いません。この往復で、精度が上がります。配ってからは、直せません。
回収した後の読み方
集まった数字は、慎重に読みます。設計で偏りを減らしても、完全には消えません。答えた人が、全体を代表しているとは限りません。答えた人の傾向を、まず確認します。満足した人ほど、答える傾向があります。
回収率も、記録します。参加者100人で、回答が20人なら20%です。残りの80人の意見は、含まれていません。その前提で、数字を読みます。報告にも、回収率を必ず添えます。
自由記述は、数えて分類します。印象で読むと、目立つ意見に引きずられます。同じ趣旨のものを、まとめて件数を出します。1件の強い意見と、10件の弱い意見を区別します。この作業で、優先度が見えます。
経年の比較も、条件をそろえます。設問を変えると、比較できなくなります。比較したい設問は、文言を固定します。改善したい場合も、旧版を残して併記します。1回だけの調査は、判断材料になりにくいためです。
- 回収率を必ず記録し、報告に添える。母数の説明がないと誤読される
- 比較したい設問は、文言を変えずに固定する
- 自由記述は印象で読まず、分類して件数を出す
そして、行動につなげます。調査は、判断のために行います。報告して終わりでは、意味がありません。何を変えるかを、その場で決めます。決めない調査は、次回から省きます。
よくある質問
設問は何問までが適切ですか
催しの後なら、5問から7問が現実的です。多いほど、後半の回答の質が落ちます。所要時間を冒頭に明示すると、回答率が上がります。設問を増やす前に、本当に必要かを確認してください。自社の記録で分かることは、聞かずに済みます。
どちらとも言えない、は入れるべきですか
目的によります。施策の判断に使うなら、外して4段階にする方法があります。実際に中立の意見がある場合は、置くほうが正確です。該当しない、分からない、を別に用意する方法もあります。中立と、判断できないを区別できます。
匿名にすると、誰の意見か分からず困りませんか
率直さと、追跡のどちらを優先するかの判断です。望ましい答えを選ぶ偏りは、匿名性で減らせます。参加者が少ない場合は、属性を聞くと個人が特定できます。その場合は、属性の設問を削ってください。個別の追跡は、別の手段で行います。
過去の調査と比べたいのですが
比較したい設問は、文言を変えないでください。少しの言い換えでも、結果は動きます。改善したい場合は、旧版と新版を併記する期間を設けます。2回分を重ねれば、差の意味が判断できます。選択肢の並び順も、そろえてください。
まとめ
アンケートの答えは、聞き方で変わります。出てきた数字に、歪みの印は付きません。だから、設計の段階でしか防げません。調査票の要素は4つです。題名、質問文、選択肢、設問の順序です。
避けるべき型は、整理されています。1つの質問で2つを聞かないこと。肯定を前提にした聞き方をしないこと。題名に評価の方向を含めないこと。記憶に頼る期間を、長く取らないことです。
そして、必ず事前に試してください。内容を知らない人に、3人でも答えてもらいます。迷った設問、分からなかった設問を聞き取ります。配ってからは、直せません。この30分が、調査の価値を決めます。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
データ分析にAIを活かす第一歩、まずは導入から始めませんか?
デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。
