ワードクラウドは報告の結論にならない｜AIの要約と分ける所

「アンケートの自由記述をワードクラウドにして報告したら、部長に『で、結論は何？』と聞き返された」「顧客の声を図にすると一目で分かる気がするけれど、会議の資料に載せてよいのか迷う」。どちらも、図を作ったところで手が止まってしまう場面です。ワードクラウドは、文章に出てくる語を数え、多く出た語ほど大きな字で並べる図で、作るだけなら数分で済みます。けれども、ワードクラウドは結論を示す図ではありません。本当は、どの語が何回出たかを眺めるための下調べの図です。この記事では、業務の報告に絞って、ワードクラウド・共起ネットワーク・AIの分類と要約の違いと、報告の結論をどこから出すかを整理します。

この記事で扱う報告の範囲

ワードクラウドは、授業の感想やイベントの参加者の声をまとめる場面でもよく使われます。この記事で扱うのは、その中でも業務の報告です。具体的には、顧客満足のアンケートの自由記述、問い合わせの窓口に届いた声、商談や解約の理由のメモ、社員向けの調査の自由記述など、読んだ結果をもとに、誰かが次の打ち手を決める報告を想定します。

業務の報告では、図は飾りではなく判断の材料になります。会議の参加者は図を数秒見て、大きく出た語を「顧客の声の中心」と受け取ります。その受け取り方が正しいかどうかを、作った人が説明できなければなりません。場を盛り上げるための使い方とは、求められるものが違うということです。

選択式の設問の集計や、満足度の点数の読み方は、この記事では扱いません。扱うのは、自由に書かれた文章をどう図にし、どう要約し、どう結論にするかの部分です。自由記述を集めてそろえ、分類するまでの工程の全体や道具の選び方は、テキストマイニングの工程を扱った別の記事にまとめています。

また、自由記述には氏名や連絡先、社内の人の名前が混ざることがあります。図にする前やAIに渡す前の個人情報の処理は、自由記述をAIに渡す前の処理を扱った別の記事に譲ります。ここでは、その処理が済んだデータを前提に話を進めます。

ワードクラウドが示すのは、語の出現回数だけ

ワードクラウドの説明としてよく引かれるのが、ニューヨーク・タイムズのソフトウェア設計者だったジェイコブ・ハリス氏が、2011年にハーバード大学のニーマン財団の報道研究の媒体に寄せた記事です。ハリス氏はワードクラウドを、文書の中の語を使われた回数に比例した大きさにして、なんとなく芸術的に並べたもの、と説明しています。

この説明のとおり、図が持っている情報は、語と回数の組だけです。誰が書いたのか、どの文脈で出た語なのか、肯定か否定か、何件の回答から来た語なのかは、図から読み取れません。図に載っていない情報を、見る人は想像で補ってしまう。これが誤読の出発点です。

同じ記事でハリス氏は、ワードクラウドは最も粗い種類の文章の分析しか支えられないと書き、アミノ酸の数だけを数えてたんぱく質を理解しようとするようなものだとたとえています。そのうえで、語句や主題のまとまりで分析するほうが、正確な結論に近づけると指摘しています。

日本語の文章では、さらに1つ手順が加わります。語の間に空白がないため、図にする前に文章を語に切り分ける処理が入ります。どこで切るかは道具の辞書や設定に左右されるので、同じ回答でも、道具や設定が違えば図の形が変わることを前提にしておきます。

誤読の型1 大きい字は、重要な声ではない

最も多い誤読は、大きく出た語を「顧客がいちばん重視していること」と読むものです。字の大きさは出現回数であって、重要さでも、困っている度合いでもありません。多く書かれた語と、多くの人が困っている点は別物です。

たとえば、商品の感想を聞くアンケートでは、「商品」「使う」「思う」「良い」のように、設問そのものや書き方の癖から出る語が大きくなりがちです。設問に「使いやすさについて教えてください」と書けば、回答に「使いやすい」が増えるのは当然で、それは顧客の関心の中心を示しているわけではありません。

1人の回答者が長い文章で同じ語を何度も書くと、その語も大きくなります。数える単位が語であって人ではないため、熱心に長く書いた数人の声が、短く書いた大勢の声より大きく見えることがあります。数える単位を「その語を書いた回答の件数」に変えられる道具もありますが、図を見る側にはどちらで数えたのかが分かりません。

字の面積の問題もあります。字の大きさが同じでも、文字数の多い語ほど図の中で広い面積を占めます。見る人は面積で大小を感じるので、長い語ほど目立ちます。報告で図を使うなら、図の横に、上位の語と件数の表を必ず添えるのが最低限の手当てです。

誤読の型2 否定の語が消えて、意味が逆になる

ワードクラウドを作る道具の多くは、「ない」「する」「こと」のように、どの文章にも出てくる語を自動で外します。外さないと、その語が図の大半を占めてしまうからです。ところが、この処理で否定の語が落ちると、「使いにくくない」が「使いにくい」として数えられることが起きます。

ハリス氏は前述の記事で、ある政治団体の人々が大統領について語った声でワードクラウドを作ったところ、最も大きく出たのが「好き」と「政策」だったという例を挙げています。理由は、否定を表す語が、自動で外される語に入っていたからだと説明しています。否定の語が1つ落ちるだけで、図の印象が正反対になるという例です。

日本語では、否定は語尾に付くことが多く、「分かりやすくはない」「期待したほどではなかった」のように、文の最後で意味がひっくり返ります。語に切り分けて数えると、前半の「分かりやすい」「期待」が残り、後半の否定は消えやすくなります。不満の声ほど、ワードクラウドでは好意的な語に見えやすいと考えておくほうが安全です。

見分ける手がかりは、大きく出た語を含む原文を数件読むことです。「使いやすい」が大きく出ていたら、その語を含む回答を10件ほど開き、否定や条件付きの書き方が混ざっていないかを確かめます。好意か不満かを機械で判定する方法をどこまで信じてよいかは、感情分析の精度を扱った別の記事で詳しく扱っています。

誤読の型3 表記ゆれと言い換えで、同じ声が割れる

同じことを言っていても、書き方が違えば別の語として数えられます。「問い合わせ」「問合せ」「といあわせ」、「サポート」「窓口」「担当の人」、「高い」「値段が張る」「割高」などです。1つひとつの語は小さくしか出ないため、本当は最も多い不満が、図の中で細かく割れて目立たなくなることがあります。

ハリス氏も、特定の語を数えるやり方では、同じ種類の出来事を別々の報告が「トラック」「車両」、さらには車種の名前で書いていることを見落とすと指摘しています。語ではなく、概念や主題のまとまりで見なければ分からないということです。顧客の声でいえば、製品名の略し方や、社内の呼び名と顧客の呼び名の違いがこれにあたります。

表記をそろえる辞書を作れば、ある程度は寄せられます。ただ、辞書づくりには手間がかかり、どこまで寄せるかの判断そのものが結果を左右します。辞書の作り方は工程を扱った記事に譲り、ここでは図を見る前に、割れていそうな語を自分で疑うという読み方の注意にとどめます。

反対に、別のことを言っているのに同じ語として数えられる場合もあります。「対応」は、窓口の対応の良し悪しにも、製品がほかの機器に対応しているかにも使われます。大きく出た語の意味が1つに決まっているかを、原文で確かめてから読むのが順番です。

誤読の型4 件数の少ない声が、図から消える

ワードクラウドは多く出た語を目立たせる図なので、少数の声は小さくなるか、表示の上限から外れて消えます。表示する語を上位の数十語に絞る設定では、数件しかない重い声は、図に一度も出てこないことがあります。

業務の報告で見落としてはならない声は、件数が少ないことが多いものです。個人情報の漏れを疑う声、けがや故障につながる不具合の報告、解約を決めた理由、法令に触れそうな対応への苦情などです。こうした声は1件でも、次の打ち手を変える力があります。

そのため、報告では図とは別に、件数に関係なく拾う声の区分を先に決めておきます。安全・法令・個人情報・解約の4つのように区分を決め、その区分に当たる回答は1件でも原文ごと報告に載せます。どの声を件数に関係なく拾うかは、図を作る前に人が決めることです。

AIに分類させる場合も同じで、少ない声は「その他」の箱に入りやすくなります。要約でも、少数意見や反対意見が平均的な言い方にならされて消えることがあります。要約で落ちやすい情報の型は、AIの要約で落ちる情報を扱った別の記事で整理しています。

誤読の型5 語が増えた理由は、声の変化とは限らない

前回の調査と今回の調査のワードクラウドを並べて、「今回は『価格』が大きくなった。値上げへの不満が増えた」と読むことがあります。けれども、語が増えた理由は、顧客の気持ちの変化とは限りません。

ハリス氏は、ある報告書の集まりの中で特定の語が急に増えたのを見て、情勢が大きく変わったと考えかけたものの、実際には報告の書式の決まりが変わり、その項目を書くことが求められるようになっただけだった、という経験を書いています。語の増減は、書かせ方や集め方の変化でも起きるという例です。

顧客の声でも同じことが起きます。設問の文言を変えた、回答の画面に記入の例を添えた、集める経路に新しい窓口を加えた、対象の顧客層を広げた、といった変化があれば、語の出方は変わります。比べる前に、2回の調査で集め方が同じだったかを確かめます。

2つの時期を比べるなら、図を並べるより、語や分類ごとの件数を表にし、回答の総数に対する割合で並べるほうが読み違えにくくなります。集め方を変えた時期があるなら、表の注記にその日付を書きます。比べることが目的なら、ワードクラウドは向いていない図だと割り切るのも1つの判断です。

共起ネットワークで見えること、見えないこと

共起ネットワークは、同じ回答の中で一緒に出てくることが多い語どうしを線で結ぶ図です。「配送」と「遅い」、「説明」と「分かりにくい」のように、語と語の組み合わせが見えるため、ワードクラウドより文脈に近い情報が得られます。

線を引くかどうかは、2つの語がどれだけ一緒に出るかを表す数値で決まります。無料で配布されている代表的な分析ソフトの公式の説明では、この数値の出し方を複数の方式から選べるとされています。つまり、計算の方式や、線を引く基準の値を変えると、図の形が変わるということです。報告に載せるなら、どの方式とどの基準で描いたかを注記に残します。

見えないものもあります。共起ネットワークは語どうしの近さを示すだけで、その組み合わせが肯定なのか否定なのかは示しません。「説明」と「丁寧」が結ばれていても、「説明が丁寧だった」なのか「説明が丁寧すぎて長い」なのかは、原文を読まなければ分かりません。

また、図の中で近くに描かれた語や、同じ色で塗られた語のまとまりを、そのまま「顧客の関心のグループ」と読むのも注意が要ります。まとまりは計算の結果であって、名前は付いていません。まとまりに名前を付けるのは人の解釈であり、その名前を報告に書くなら、名前の根拠になった原文を添える必要があります。

AIの分類・要約で見えること、見えないこと

生成AIに自由記述を読ませると、語の回数ではなく、文の意味で分類や要約ができます。否定の語尾を読み取り、表記ゆれや言い換えもまとめて扱えるため、ワードクラウドの誤読の型のいくつかは起きにくくなります。報告の下書きとしては、図より文章のほうが結論に近い材料になります。

一方で、AIの要約には別の弱さがあります。もっともらしい言い方でまとめるため、回答にない理由や因果を足してしまうことがあります。「価格への不満が多く、競合への乗り換えを検討する顧客が増えている」のように、後半が回答のどこにも書かれていない、ということが起きます。

件数の扱いも弱点です。「多くの顧客が」「一部の顧客は」という言い方は、実際の件数を示していません。AIに件数を数えさせても、数え直すと合わないことがあります。要約の言葉と件数は、分けて確かめる必要があります。

さらに、分類の箱を毎回AIに作らせると、調査のたびに箱の切り方が変わり、前回と比べられなくなります。分類をAIにどこまで任せるかと、分類を替えたときの継ぎ目の扱いは、それぞれを扱った別の記事に譲ります。ここで押さえるのは、AIの要約は、原文と件数に戻れる形で出させるという一点です。

3つの見せ方と原文を並べて比べる

ここまでの内容を、報告での役割ごとに並べます。どれか1つが優れているのではなく、答えられる問いが違います。原文の抜き出しも、比べるために並べておきます。

見せ方	答えられる問い	答えられない問い	報告での置き場
ワードクラウド	どの語が何回出たか	誰が困っているか・肯定か否定か・件数の少ない重い声	付録か、件数の表の横の補助
共起ネットワーク	どの語とどの語が一緒に出るか	組み合わせが肯定か否定か・まとまりの意味	仮説を立てる下調べ
AIの分類・要約	どんな内容の声が、どの程度あるか	件数の正確さ・回答に書かれていない理由	本文の下書き（原文の番号と件数を付けて）
原文の抜き出し	顧客が実際にどう書いたか	全体の中での多さ	結論の根拠として本文に

表のとおり、報告の本文に載せる結論の根拠になるのは、原文と件数です。図とAIの要約は、その結論にたどり着くための道具であって、結論そのものではありません。図を結論の代わりに置くと、読む人が自分で結論を想像することになります。

会議では、図を先に見せるほど、その印象が結論として残ります。報告の順番は、結論の文、根拠の件数と原文、補助としての図、の順にするのが扱いやすい形です。図を冒頭に大きく載せる習慣があるなら、それを後ろに回すだけでも読み違えは減ります。

3つは、組み合わせて使うと互いの弱さを補えます。たとえば、共起ネットワークで「配送」と「遅い」が強く結ばれていたら、その2語を両方含む回答を抜き出し、AIに要約させ、番号の付いた原文を人が読む、という順に進めます。図は探す場所を決めるために使い、確かめるのは原文で行うという役割の分け方です。

報告の結論は、問いと件数と原文から出す

報告の結論は、最初に立てた問いに答える文です。「解約の理由で最も多いのは何か」「新しい窓口の対応に不満はあるか」のように問いを立てていれば、結論は「最も多いのは価格で、回答の3割を占める」のように書けます。問いがないまま図を作ると、何が結論なのかが決まりません。

結論の文には、件数と母数を必ず添えるようにします。「多い」「目立つ」ではなく、「回答312件のうち94件」のように書きます。ここで挙げた数字は説明のための例で、実際の報告では自社の集計の数字を使います。回答の件数が少ないときに何が言えるかは、回答の件数と偏りを扱った別の記事で詳しく扱っています。

件数の次に、代表的な原文を2件か3件載せます。原文は、結論の言葉と同じ意味で書かれているものを選び、言い回しを変えずにそのまま引きます。原文を読んだ人が、自分でも同じ結論に至るかどうかが、報告の結論の確かさを測る目安になります。

反対の声や例外も1行添えます。「価格への不満が最も多いが、長く使っている顧客からは『この価格なら妥当』という声も18件あった」のように書けば、読む人は結論の範囲を正しく受け取れます。結論を強く見せたいときほど、この1行を省かないことが大切です。

AIの要約に、原文の例と件数を付けさせる手順

AIを報告の下書きに使うなら、要約の出させ方を先に決めておきます。要点は、要約の1行ごとに、根拠になった原文と件数を付けさせることです。次の手順で進めます。

この手順の中心は、要約の言葉を、必ず原文の番号に結び付けることです。番号のない要約は、正しいかどうかを確かめる手段がありません。根拠を書かせておけば、AIが足した理由や因果も見つけやすくなります。

渡す回答の数が多いと、AIが途中の回答を読み飛ばすことがあります。数百件を一度に渡すより、数十件ずつに分けて分類させ、最後に件数を人が合計するほうが確かめやすくなります。分けて渡したときは、分け方と順番を記録に残しておきます。

渡すときの指示には、「回答に書かれていない理由や背景を足さない」「件数は番号の数で示し、『多くの』『一部の』とは書かない」「分類できない回答は無理に箱に入れず、番号を別に挙げる」の3つを入れておきます。最後の1つは、少数の重い声を「その他」に埋もれさせないための指示です。指示の文面は、調査のたびに同じものを使うと、前回との比べやすさも保てます。

結論の言い切りは、AIに判断させない

AIの下書きには、「顧客は価格に最も不満を持っている」「早急な改善が必要である」のような言い切りが入りやすいものです。けれども、何を結論として言い切るかは、AIに判断させないことにします。言い切りには、その先の打ち手と責任が伴うからです。

言い切ってよいかは、件数だけでは決まりません。回答した顧客が全体のどの層に偏っているか、集め方に変化がなかったか、ほかの調査や売上の数字と食い違っていないか、といった外の情報と照らして判断します。こうした照らし合わせは、調査の背景を知っている人にしかできません。

そこで、AIに渡すときに役割を分けておきます。AIが担うのは、分類と要約の下書き、原文の番号の書き出し、言い回しの整理までです。結論の文、打ち手の提案、優先順位は人が書きます。人が確認する範囲を、渡す前に決めておくと、確認の抜けがなくなります。

下書きの中に言い切りが入っていた場合は、そのまま使わず、根拠の番号と件数の文に書き換えます。「早急な改善が必要」は、「回答312件のうち94件が価格に触れ、そのうち21件が乗り換えの検討に言及」のように、事実の文に戻します。そのうえで、改善が必要かどうかを会議で人が決めます。

ワードクラウドを報告に載せてよい場面と、添える注記

ワードクラウドを使ってはいけない、というわけではありません。回答の全体にどんな語が出ているかを、最初にざっと眺める下調べとしては役に立ちます。分析する人の手元で使う図と、報告に載せる図は分けて考えるのが基本です。報告に載せる場合は、付録か補助の位置に置き、次の注記を添えます。

• 図の元にした回答の件数と、集めた期間
• 字の大きさは語の出現回数であり、重要さや不満の強さではないこと
• 自動で外した語の扱いと、否定の語が落ちている可能性
• 表記をそろえたかどうか。そろえた場合はその範囲
• 上位の語と件数の表（図の横に並べる）

反対に、報告でやりがちな使い方は次のとおりです。どれも、図に結論の役を負わせてしまっている点で共通しています。

• 報告の冒頭にワードクラウドだけを大きく載せ、結論の文を書かない
• 大きく出た語を、そのまま「顧客が重視していること」と書く
• 前回と今回のワードクラウドを並べ、語の大きさの変化を顧客の変化として報告する
• 図に出なかった語を「その声はなかった」と扱う
• AIの要約を原文の番号なしで貼り、件数を「多くの顧客が」とだけ書く

注記を書くのが面倒に感じたら、その図は報告に載せなくてよい図だと判断してかまいません。注記なしでは誤読される図を載せるより、件数の表と原文を載せるほうが、報告としての価値は高くなります。

よくある質問

Q. ワードクラウドと共起ネットワークは、どちらを報告に使うべきですか。

どちらも結論の根拠にはしません。語と語の組み合わせが見えるぶん、下調べには共起ネットワークのほうが文脈に近い情報を得られますが、肯定か否定かは原文を読まないと分かりません。報告の本文には、結論の文と件数と原文を載せ、図は補助に回すのが扱いやすい形です。

Q. AIの要約があれば、図はいらないのですか。

図がなくても報告は成り立ちます。ただ、全体を眺める下調べとして図を手元で使うのは有効です。AIの要約は、1行ごとに原文の番号と件数を付けた形で出させ、人が件数を数え直してから使ってください。

Q. 回答が数十件しかない場合も、ワードクラウドを作ってよいですか。

件数が少ないと、1人の長い回答が図の大半を占めることがあります。数十件なら、図を作るより全件を読むほうが早く、確かです。読んだうえで、声を区分ごとに件数と原文で並べてください。

Q. 社外に出す報告書やプレスリリースに、ワードクラウドを載せてもよいですか。

載せる場合は、社内の報告以上に注記が要ります。社外の読み手は集め方や件数を知らないため、大きい字をそのまま顧客の評価と受け取ります。件数・期間・字の大きさの意味を図のすぐ下に書けないなら、載せないほうが安全です。

Q. AIが出した件数と、数え直した件数が合わないときはどうしますか。

数え直した件数を使います。そのうえで、ずれた分類の箱の原文を数件読み、箱の定義が曖昧でなかったかを確かめてください。ずれが大きい箱は、定義を書き直してから次の調査に使います。

Q. SEOで使う共起語の分析とは同じものですか。

別物です。検索で上位の記事に一緒に出てくる語を調べる作業は、記事を書くための調べ物で、顧客の声を読む作業とは目的が違います。SEOの共起語の調べ方は、それを扱った別の記事にまとめています。

まとめ

ワードクラウドの字の大きさが示すのは、語の出現回数だけです。大きい字を重要な声と読む、否定の語が落ちて意味が逆になる、表記ゆれで同じ声が割れる、少数の重い声が消える、集め方の変化を声の変化と読む、という5つの誤読が起きやすく、報告の結論には向きません。共起ネットワークは語の組み合わせを、AIの分類と要約は意味のまとまりを見せますが、どれも結論にたどり着くための道具です。報告の結論は、問いに答える文と件数と原文から出し、AIの要約には原文の番号と件数を付けさせて人が数え直す。何を言い切るかはAIに判断させず、人が確認する範囲を先に決めておきましょう。図は手元の下調べに、結論は原文の側に置く。この分け方が、顧客の声を読み違えない報告の土台になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。