感情分析はどこまで信じられる？｜数字にする前の確かめ方

日本語の投稿1万7千件について、書いた本人が自分の感情の強さを4段階で付け、別の3人が同じ投稿を読んで書き手の感情を推定する。2021年に大阪大学の研究グループが公開したこの調査では、読み手同士の判定の一致度がおよそ0.55、書き手本人と読み手の一致度は0.44から0.52にとどまりました。人が読んでも、これだけずれます。「口コミの好意的な割合が先月より5ポイント下がったと報告したら、根拠を聞かれて答えられませんでした」「AIに読ませたら8割が好意的と出たのに、実際に開くとそうは思えないものが混ざっています」。感情の判定を数字として社内に出し始めた会社で、決まって同じ時期に出てくる詰まり方です。これは道具の精度が足りないという話ではありません。本当は、何と比べて正しいのかを決めないまま数字を出しているから、答えられなくなっているのです。この記事では、判定が何を見ているのかから始めて、日本語で外しやすい書き方、自社での確かめ方、使ってよい場面と間違える場面、そして数字を施策に渡す前に人が確かめることまでを整理します。

「正解率9割」は、何を正解にしたかで意味が変わる

感情分析の説明資料には、正解率や適合率といった数字が並びます。ここで先に押さえておきたいのは、その正解を作ったのも人だという点です。文章に好意的か不満かの札を付けたのは人であり、その札が唯一の正解である保証はどこにもありません。だから正解率を見るときは、数字そのものより先に、誰が何件に対して札を付けたのかを聞くことになります。

人がどこまでそろうのかを、実際に測った資料があります。2021年3月の言語処理学会年次大会で大阪大学の研究グループが発表した日本語のデータセットでは、50人の書き手が自分の過去の投稿1万7千件に、8つの基本感情の強さを4段階で付けました。同じ投稿に、別の3人の読み手が「書き手はどう感じていたか」を推定して付けています。読み手同士の一致度は全体で0.547、0.549、0.585。書き手本人と読み手の一致度は0.439、0.465、0.463でした。読み手3人の平均と書き手を比べても0.515です。

この数値は重み付きカッパ係数と呼ばれる指標で、偶然そろう分を差し引いたうえで、1が完全一致、0が偶然と同じ水準を意味します。0.5から0.6は中程度の一致という位置づけです。つまり、同じ文章を読んだ人同士でも、感情の読み取りは中程度しかそろわない。ここが判定の天井です。見積書に正解率92%と書かれていたら、どの文章で測ったのか、正解は誰が何人で付けたのか、評価に使った件数はいくつかの3点を聞いてください。この3点が空欄の正解率は、比べる相手のない数字です。

判定が見ているのは、感情ではなく語の並び

好意か不満かを機械が判定するとき、内部で起きているのは感情の理解ではありません。あらかじめ向きを決めた語の並びを、文の中から探しているだけです。この仕組みが最も分かりやすいのが極性辞書と呼ばれる資源で、東北大学の研究室が2008年に公開した日本語評価極性辞書では、用言がおよそ5千件、名詞がおよそ8千5百表現に整理されています。名詞の側は、肯定的か否定的かに加えて、主観的か客観的かという2つ目の軸でも分けられています。

語に向きを割り当てる作り方には、避けようのない穴があります。よく挙げられるのが否定で、「美味しくない」は美味しいという肯定的な語を含むため、語を数えるだけの処理では肯定に振れます。そこで極性を持つ語の後ろに否定語が来たら向きを反転させる、という規則が足されてきました。ところが規則を足すたびに、その規則が裏目に出る文が現れます。「使えなくはない」は否定が2回入るため、反転を機械的に適用すると強い肯定になってしまいます。

もう1つの穴は、同じ語の向きが場面で変わることです。「値段が高い」は不満ですが、「品質への評価が高い」は好意です。自社の商材では「重い」が処理速度の不満を指し、別の業界では堅牢さへの称賛を指します。一般向けの辞書は、自社の商材が置かれた文脈を知りません。だから辞書型の判定を使うなら、自社でよく出る語を50語ほど拾って向きを上書きする作業が最初に来ます。この作業を飛ばした判定は、他社の文章を測る物差しで自社の声を測っていることになります。

判定の3つのやり方と、それぞれの外れ方の癖

実務で選べるやり方は3つに整理できます。どれが優れているかではなく、件数と文章のばらつきによって向き不向きが変わると考えるのが実際的です。外れ方の癖が違うので、後で報告を守れるかどうかもここで決まります。

やり方	判定の根拠	向いている場面	外れ方の癖
決めた語の向きを合計する	語ごとにあらかじめ決めた向きと強さ	語彙が限られ、同じ言い回しが繰り返される短い文が大量に来る場面	否定と反語で裏返る。辞書にない自社の語は素通りする
自社のデータで分類器を訓練する	人が札を付けた数千件から学んだ規則	同じ形式の文章が毎月まとまった件数で届く場面	札を付けた人の癖ごと覚える。書き方が変わると静かに精度が落ちる
生成AIに判定させる	渡した指示文と、添えた手本	件数が少なく、書き方がばらばらな場面	手本の数と並び順で結果が動く。理由を書かせないと検算できない

3行目が近年いちばん増えた選び方です。訓練のためのデータを用意しなくてよく、判定の基準を日本語の文で書けるため、着手が速い。その速さと引き換えに、結果が指示文と手本に強く依存します。同じサービスを使っていても、指示文を1行書き換えれば別の判定器になったのと同じことが起きます。ここが後の運用で効いてきます。

選ぶ順序としては、まず自社の文章が月に何件届くかを数えます。数千件を超えるなら2行目の分類器が現実的な選択肢に入り、数十件から数百件なら3行目です。1行目は単体で使うより、生成AIの判定結果と食い違った文だけを人に回す、といった二重の確認に使うほうが実用的です。2つのやり方が同じ答えを出した文は人が読まず、食い違った文だけを読む。この振り分けだけでも、読む量はかなり減ります。

生成AIの判定は、手本を見せたかどうかで別物になる

生成AIに判定させたときの実測が公開されています。2024年3月の情報処理学会全国大会で、愛媛大学と大阪大学の研究グループが、日本語で使える大規模言語モデル30種を同じ課題で比べました。課題は、投稿の感情極性を5段階で当てるもので、評価に使ったのは2,500件。指標は先ほどと同じ重み付きカッパ係数です。

結果の落差が大きいのは、手本を見せたかどうかでした。手本を1件も見せない設定では、30のモデルのうち18が0.1を下回りました。ほとんど当たっていないという水準です。ところが手本を10件添えると、30のうち25が改善しています。最も高かったのは、英語のモデルを日本語で追加訓練し、指示に従う調整を加えたものが手本10件のときに出した0.641でした。同じモデルが、手本なしでは0.487にとどまっています。同じ道具で、手本の有無だけで結果が変わっているわけです。

比較のために、同じデータで微調整した従来型の分類器も測られており、0.524と0.594でした。ここから2つ読めます。1つは、手本を添えた生成AIは従来型の分類器と同じ土俵に乗るということ。もう1つは、大きいモデルを選べば高い、という関係が成り立っていないことです。論文にも、訓練データが同じなら大きいモデルが高い場合が多いが、大きいモデルが高性能というわけではないと書かれています。実務の含意は単純で、どのAIを使うかを議論するより、どんな手本を何件添えるかを先に決めたほうが効きます。そして手本を差し替えた月は、前月の数字と比べてはいけません。

人の読み手同士でも、そろわない感情がある

一致度は感情の種類によって大きく違います。前述のデータセットでは、読み手同士の一致度が最も高い感情で0.697、最も低い感情で0.203でした。書き手本人と読み手で見ると、最も高い感情で0.622から0.633、最も低い感情では0.089から0.153まで落ちます。ほとんど偶然と変わらない水準の感情が実在するということです。

どの感情がそろわないのかは、対応の表を見ると具体的になります。書き手が怒りを強いと付けた投稿のうち、読み手が無と判定したものが58.6%。信頼を強いと付けた投稿では81.5%が無と判定されました。一方で、書き手が喜びを無とした投稿は、読み手も91.7%が無と付けています。外に出た感情は読めるが、内側にとどまった感情は読めない、という非対称があります。

この非対称は、顧客の声を数える場面にそのまま効いてきます。強い怒りは、書かれていても読み手には見えていないことがある。信頼や安心は、そもそも文章に出ません。黙って離れていった顧客の不満は、書かれていないので0件として数えられます。だから感情の判定から出てくる割合は、顧客の感情の分布ではなく、書かれた文章に出た感情の分布です。報告の見出しを「顧客満足の推移」ではなく「書かれた声に出た不満の割合」と書き分けるだけで、読んだ側の受け取り方が変わります。

機械は人より下手なのか、という問い

同じ研究では、機械と人の読み手を同じ土俵で比べています。ここが「どこまで信じられるか」の核心です。指標は平均二乗誤差で、小さいほど正解に近い。まず、書き手本人が付けたラベルを正解にした評価では、常に最も多いラベルを答えるだけの基準が0.578、機械の分類器が0.519から0.553、人の読み手3人が0.460、0.522、0.532でした。

次に、読み手3人の平均を正解にした評価では、人の読み手が0.196から0.237、機械は0.317から0.377です。この2つを並べると読み取れることが変わります。読み手が受け取る印象をまねる課題では、機械は人よりはっきり下手です。しかし、書き手が本当に感じていたことを当てる課題では、機械と人の差はほとんどありません。当てられないのは道具の性能ではなく、問いの側にあります。

もう1つ、実務で効く数字があります。常に最も多いラベルを答えるだけの基準が0.578で、訓練した分類器が0.553。何も読まずに決め打ちする基準と、機械が読んだ結果の差が、この程度しかない場面があるということです。だから導入の判断では、自社のデータで同じ比較を一度やります。全件を「どちらでもない」と答えるだけの基準と比べて、判定器がどれだけ上積みしているか。上積みが小さければ、その判定は数字を生んでいるだけで情報を生んでいません。

日本語で外しやすい5つの書き方

外れる文には型があります。自社の文章を判定させたとき、どの型が多いかで打ち手が変わるので、先に分類の言葉を持っておきます。次の5つは、いずれも語を見るだけでは向きが決まらない書き方です。

• 皮肉と反語……「本当に使いやすいのでしょうか」「さすがの対応でした」。肯定的な語を含みながら、文全体の向きは逆。極性を持つ語の後ろに「でしょうか」が来たら向きを打ち消す、といった規則が現場で足されてきた
• 二重否定と部分否定……「使えなくはない」「悪くはないと思います」。否定語で反転させる規則だけだと2回反転し、強い肯定として数えられる。実際の温度は、好意でも不満でもない中間にある
• 条件付きの評価……「価格さえ合えば導入したい」「担当の方は良かったのですが」。前半と後半で向きが違う。文全体を1つの向きに丸めると、施策に必要な側の情報が消える
• 業界語と社内語……「重い」「刺さる」「握る」「寝かせる」。一般の辞書では別の意味に割り当てられているか、そもそも載っていない。同じ語が部署によって逆の意味で使われることもある
• 記号と定型の言い回し……語尾の「笑」、三点リーダー、感嘆符、絵文字。同じ本文でも末尾の記号で受け取り方が変わるが、前処理で記号を落とす作りだと、その情報ごと消える

5つに共通するのは、向きを決めているのが語ではなく文の組み立てである点です。だから辞書に語を足しても直りません。直すのは判定の側ではなく、受け皿の側です。具体的には、好意と不満の2択にせず「判定できない」という第3の選択肢を必ず用意します。選択肢がなければ、迷った文はどちらかに寄せられ、寄せた事実は記録に残りません。

判定できないの件数は、隠したい数字ではなく最も見るべき数字です。この件数が全体の1割を超えるなら、判定の基準か、集めている文章の種類が合っていません。逆に判定できないが1件も出ない設定は、迷いを消す仕掛けが入っていることを疑います。保留の件数が0の判定結果は、正確なのではなく、保留を許していないだけです。

確かめる：自社の100件で、当たり方を測る

外注先の資料に載っている正解率は、他社の文章で測ったものです。自社の文章での当たり方は、自社で測るしかありません。ここで大事なのは、精度の測定そのものではなく、外れ方の種類を知ることです。次の5段階で進めます。

100件という数に厳密な根拠はありません。2人で読み切れて、外れ方の型が数えられる最小の規模という現実的な線です。参考までに、前述のデータセットでは、書き手本人が自分の投稿に感情を付ける作業に1件あたり21.5円、読み手が推定して付ける作業に1件あたり3.8円の謝礼が支払われています。札を付ける作業自体は小さく、時間が溶けるのは分け方の言葉を決める工程のほうです。

測った結果は、日付とともに残します。判定器を変えたとき、指示文を書き換えたとき、集める経路を増やしたときには、同じ100件で測り直します。同じ100件を使い回すのは、比較のためです。毎回別の100件で測ると、判定器が変わったのか文章が変わったのかが切り分けられません。測り直しの結果が前回より下がっていたら、その月の報告に前月比を載せない。これを先に決めておくと、都合の悪い結果を隠す動機がなくなります。

何件あれば読めるのか

判定に取り違えが混ざった状態で割合を出すと、その割合はどれくらいずれるのか。数字で追ってみます。届いた文章が200件、そのうち本当に不満なのが20件、つまり1割だとします。判定器が不満を9割拾い、好意的な文の5%を誤って不満に入れる癖を持っているとしましょう。

このとき報告に出る不満は、本当の不満から18件、取り違えから9件で、合わせて27件。割合にすると13.5%です。実際は1割なのに、1割3分5厘として報告されます。翌月、本当の不満が12%に増えたとします。同じ癖のまま計算すると、報告に出るのは30件あまりで15.2%。実際の増加は2ポイント、報告上の増加は1.7ポイントです。水準はずれていますが、増えたという向きは残っています。

ここから運用の原則が出ます。水準は信じない。同じ癖の判定器を使い続けたときの、増減の向きだけを見る。そして、判定器や指示文や手本を変えた時点で、過去との比較は切れます。件数についても同じ計算から見当がつきます。不満が1割の母集団で、判定の誤りが混ざったうえで増えたと言い切るには、月に数百件は欲しい。数十件では、1件の増減が数ポイント動いてしまい、癖の揺らぎと実際の変化が区別できません。

使ってよい場面と、使うと間違える場面

ここまでの制約を踏まえると、用途によって可否がはっきり分かれます。判断の軸は精度の高さではなく、間違えたときに誰が損をするかです。人が読む工程が後ろに控えている使い方は使えますし、判定がそのまま人への対応になる使い方は危ない。

使い方	判定に求める確からしさ	間違えたときに起きること	可否
大量の文章から、先に読むべき数十件を選び出す	低くてよい	読み落としが出るが、後ろで人が読むので拾い直せる	使える
同じ判定器で、月ごとの不満の割合の増減を追う	一定であればよい	水準はずれるが、増減の向きは残る	使える
文面の案を2つ作り、どちらが柔らかいかを比べる	相対で足りる	選び直せばよい	使える
個別の1件に札を付け、そのまま担当者へ回す	高い確からしさが要る	皮肉を好意と読み、急ぐべき連絡が後回しになる	人が読む
感情の数値を、解約の予兆や更新の見込みの判断に組み込む	きわめて高い	誤判定が顧客への対応そのものを決めてしまう	人が決める
部門や担当者の評価に、顧客の感情の数値を使う	測れない	書きぶりの癖と、声を集めた経路の差が評価に化ける	使わない

最後の行は、導入から半年ほど経つと必ず提案が出てくる使い方です。数字があるのだから評価に使おう、という流れは自然に見えます。しかし感情の数値は、担当者の仕事の質より、顧客の書きぶりと声を集めた経路に強く左右されます。丁寧に書く顧客が多い担当者の数字は高く出ます。声を集める仕組みを丁寧に回した担当者ほど、不満の声も多く集まり、数字は下がります。評価に使うと、声を集めない動きに報酬が付きます。

上の3行と下の3行を分けている線は、判定の後ろに人が読む工程があるかどうかです。この線を運用の文書に1行で書いておきます。感情の判定は、人が読む順番を決める道具であって、人が読む代わりではない。この一文があるだけで、後から出てくる拡張の提案を毎回議論せずに済みます。

件数が少ないBtoBでの使い方

ここまでの数字は、投稿が大量に集まる場面を前提にしています。BtoBは事情が違います。商談の記録、問い合わせ、解約時の面談。月に数十件、多くて百件台という規模で、しかも1件が長い。この規模では、割合を出しても動きません。1件の判定が1ポイント以上を動かすからです。

件数が少ない場面では、判定に期待する役割を変えます。好意か不満かの札を付けるのではなく、文章を仕分ける作業に使います。具体的には、1件の記録の中から、誰の発言か、どの場面の話か、何についての話かの3つを抜き出させる。感情の向きは人が読んで決めます。少ない件数では、機械に読ませて人が確認するのではなく、機械に整理させて人が読むほうが速い。数十件なら、人が全件を読むことが現実的な選択肢として残っています。

もう1つ、件数が少ない場面に特有の落とし穴があります。同じ人の発言が全体を動かすことです。1社の担当者が10件書けば、月に50件の母集団では2割になります。これを顧客の声と呼ぶと、1人の意見が業界の傾向に化けます。件数ではなく社数で数え、1社あたりの件数に上限を置く。上限を超えた分は、その社の代表的な1件に束ねて数える。この処理を先に決めておかないと、声の大きい1社の話が施策の根拠になります。

全体の向きではなく、何についての評価かで分ける

「導入は正直かなり大変でしたが、サポートの方が丁寧に付き合ってくださって助かりました」。この文を全体で1つの向きに丸めると、好意に入ります。しかし施策に必要な情報は、導入が大変だったという側にあります。丸めた瞬間に、直すべき対象が消えるのがこの型の怖さです。

対処は、判定の単位を文ではなく話題に変えることです。1つの文に2つの話題が入っていれば2行にし、それぞれに向きを付けます。ここで先に決めておくのが話題の一覧です。決めずに生成AIに分けさせると、月ごとに違う名前の話題が出てきて、前月と比べられなくなります。導入手順、費用、サポートの応対、機能の過不足、といった粒度で10から15に束ねます。

一覧の作り方は、確かめる工程で読んだ100件を使います。人が読んで出てきた話題を書き出し、似たものを束ねて10から15に収める。その一覧を指示文に固定して渡し、一覧に当てはまらない文は「その他」に落とします。その他が2割を超えたら、一覧を見直す合図です。一覧を更新した月は、そこで比較が切れることを報告に明記します。話題の一覧を変えることと、判定器を変えることは、比較の観点では同じ意味を持ちます。

数字を施策に渡す前に、人が確かめること

最後の関門は報告です。感情の数値は、根拠を示さずに一人歩きしやすい種類の数字です。会議に持ち込む前に、次の6点を自分で埋められるかを確認します。埋まらない項目があるまま出すと、その項目を突かれた時点で数字全体が使えなくなります。

• どの文章を、いつからいつまで集めたものか。集める経路が期間の途中で変わっていないか
• 正解は誰が何人で付けたか。何件で測ったか。測ったのはいつで、いま報告している月とどれくらい離れているか
• 判定できなかった件数と、その割合。保留を分母から外したのか、どちらかに寄せたのかを明記しているか
• 好意を不満と読んだ件数と、不満を好意と読んだ件数を、分けて出しているか
• 判定器と指示文と手本を、前回の報告から変えていないか。変えたなら、そこで比較を切ったと書いてあるか
• その数字の根拠として、実際の文章を5件添えられるか

6つ目が要点です。割合だけの報告は、聞いた側が確かめようがありません。確かめようがない数字は、都合が良いときは信じられ、都合が悪いときは疑われます。どちらにしても、施策の判断材料としては働きません。報告の型は、割合と、前月からの増減と、根拠になる文章5件。この3点をひとまとまりにします。

添える5件の選び方にも決まりが要ります。数字を支える文だけを選ぶと、実質的に印象操作になります。判定が不満と読んだもののうち強いものを2件、判定が保留にしたものを1件、判定と人の読みが食い違ったものを2件。食い違った文を必ず入れるのが、この5件の肝です。読んだ側が判定の癖を自分で確かめられ、次回以降の数字の受け取り方が変わります。

AIに判定させてよい範囲と、任せてはいけない判断

感情の判定にAIを使う以上、どこまで任せるかの線を先に引いておきます。線を引かないまま使うと、数字は埋まるのに中身の確かめられない集計ができあがります。任せてよいのは、次の5つのように、元の文章に戻れば確かめられる作業です。

• 大量の文章から、不満が書かれていそうな候補を絞り、人が読む順番を決める
• 1つの記録に複数の話題が混ざっているとき、決めた一覧に沿って話題ごとに切り分ける
• 判定の理由として、その文のどの部分を根拠にしたかを原文のまま抜き出させる
• 前回の判定と今回の判定が食い違った文だけを洗い出し、一覧にする
• 決めた話題の一覧に当てはまらない文を、その他として集めて件数を出す

一方で、次の5つは人が決めます。いずれも、間違えたときに顧客との関係が動く種類の判断です。

• この顧客は解約しそうかどうかの結論——書かれた文章の温度と、契約を続けるかどうかは別の話
• 好意と不満の境目そのもの——どこからを不満と呼ぶかは、自社が何を直すつもりかで決まる
• 判定できない文を、どちらかに寄せる処理——保留のまま人に回すのが正しい扱い
• 特定の担当者や部門の評価につながる集計——声の集め方の差が、そのまま評価に化ける
• 経営会議に出す数字の言い切り——外し方の癖を説明できるのは人だけ

線を引く理由は、感情の判定が事実の抽出ではなく解釈だからです。解釈は、根拠になった原文に戻れなければ検算できません。だから判定を頼むときは、必ず根拠となる部分を原文のまま抜き出させます。要約させてはいけません。要約した時点で、判定の根拠と判定の結果が同じ工程から出てくることになり、食い違いが見えなくなります。

もう1つ、AIに聞いてはいけない質問があります。「この判定結果は信頼できますか」です。返ってくるのは一般論で、自社の文章での当たり方は測られていません。信頼できるかどうかは、自社の100件で測るしかない性質の問いです。AIに任せるのは、測るための材料をそろえる作業までにとどめます。

続かない使い方と、続く形にする3条件

最後に、半年で止まる使い方の型を並べます。どれも始めた時点では正しく見えるのが共通点で、止まってから振り返って初めて原因が分かる種類のものです。

• 判定の指示文を毎月調整する——その月の数字は良くなるが、前月と比べられなくなり、増減を語れなくなる
• 判定できない文を、どちらでもないに寄せる——不満が減ったように見えるだけで、実際には迷いを捨てている
• 出てきた割合だけを報告に載せる——聞いた側が確かめられず、一度疑われた時点で守れなくなる
• 集める経路を増やしながら、割合を追い続ける——経路が変われば書かれ方が変わり、割合も動く。施策の効果と混ざる
• 感情の数値を単独の目標に置く——書きぶりが柔らかい相手を優先する動機ができ、集める側の行動が変わる
• 話題の一覧を作らずに始める——毎月違う名前の話題が出てきて、束ね直す作業だけが増え続ける
• 1件の判定結果をそのまま担当者に転送する——皮肉を好意と読んだ1件で、急ぐべき対応が止まる

7つに共通しているのは、感情の判定を測定だと思っていることです。実際には解釈であり、解釈は解釈した道具と基準に紐づきます。道具や基準を変えたら、その前後の数字は別の物差しで測った値になります。測定だと思っているうちは、この切れ目が見えません。

続く形の条件は3つです。1つ目は、判定器と指示文と手本を固定し、変えたら比較を切ると決めること。2つ目は、判定できないという選択肢を常に残し、その件数を毎回報告に載せること。3つ目は、数字に必ず根拠の文章5件を添えること。この3つがそろうと、感情の数値は主張ではなく材料になります。逆に1つでも欠けると、数字は会議のたびに信じられたり疑われたりを繰り返します。

始め方は、道具の選定からではありません。自社に届いた文章100件を2人で読み、どこで食い違うかを数えるところからです。この作業で、自社の天井と、外しやすい書き方の分布と、話題の一覧の原型が同時に手に入ります。1日で終わる作業ですが、これを飛ばすと、後から出てくるすべての数字に根拠が付きません。

まとめ

感情分析をどこまで信じてよいかという問いの答えは、道具の精度表にはありません。上限は人同士の一致度で決まっています。日本語の投稿1万7千件を使った調査では、読み手同士の一致度が0.547から0.585、書き手本人と読み手では0.439から0.465でした。読み手3人の平均と書き手を比べても0.515です。同じ文章を読んだ人同士でも中程度しかそろわないのですから、機械の判定がその天井を大きく超えることはありません。正解率9割という数字を見たら、どの文章で、誰が付けた正解を、何件で測ったのかを聞いてください。

判定が見ているのは感情ではなく語の並びです。だから皮肉、二重否定、条件付きの評価、業界語、記号という5つの書き方で外れます。5つとも向きを決めているのは文の組み立てなので、辞書に語を足しても直りません。直すのは受け皿の側で、好意と不満の2択にせず、判定できないという第3の選択肢を残します。保留の件数が1件も出ない設定は、正確なのではなく迷いを許していないだけです。

生成AIに判定させる場合は、手本の設計が結果を決めます。30のモデルを比べた実測では、手本を見せない設定で18のモデルが0.1を下回り、手本を10件添えると25のモデルが改善しました。どのAIを使うかより、どんな手本を何件添えるかが効きます。そして手本や指示文を変えた時点で、過去の数字との比較は切れます。使ってよいのは、同じ判定器で塊の増減を追う場面、人が読む順番を決める場面、案を相対で比べる場面。個別の1件をそのまま担当者に回す使い方と、担当者の評価に使う使い方は、外れたときの損が大きすぎます。

始め方は、自社に届いた文章100件を2人で読み、食い違いを数えるところからです。ここで自社の天井が分かり、外れ方の型の分布が分かり、話題の一覧の原型も手に入ります。そのうえで報告の型を、割合と、前月からの増減と、根拠になる文章5件の3点に固定してください。5件には、判定と人の読みが食い違った文を必ず入れます。感情の数値は、確かめられる形で出したときだけ、施策を動かす材料になります。確かめられない数字は、都合のよいときだけ信じられ、肝心なときに使えません。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。