AIの判定は何割当たれば合格か？｜見逃しと誤りで測る

「判定の正解率は9割ですと報告を受けたのですが、それで合格と言ってよいのかが分かりません」「振り分けの精度を上げてほしいと頼んだら、数字は上がったのに現場からの苦情は増えました」——判定の仕組みを業務に入れた会社から、この2つはほぼ同時に届きます。別々の問題に見えて、詰まっているところは同じです。判定の良し悪しは、当たった割合ひとつでは決まりません。本当は、外し方には2種類あって、どちらの外し方を減らしたいかによって、見るべき数字が入れ替わります。この記事では、判定の結果を4つの枠で数える混同行列を土台に、適合率と再現率の読み分けと合格ラインの決め方を整理します。最後に、生成AIへ渡してよい工程と、人が目を通す工程の境目を引きます。

「正解率9割」という報告だけでは、合格かどうかを判断できない

判定の仕組みを入れた直後に、必ず起きる場面があります。開発を委託した先や社内の分析担当から「正解率は9割を超えています」と報告が上がってくる。数字としては高く見えるので、その場では反対しにくい。ところが、この報告だけでは業務に載せてよいかを決められません。理由は単純で、9割という数字は、残りの1割がどちら側に落ちたのかを何も語っていないからです。

具体的に置いてみます。1か月に届く1,000件の問い合わせを、至急の対応が要るものと通常でよいものに振り分ける判定があるとします。至急が実際に含まれているのは50件。ここで、判定が全件を通常と答えたとしても、950件は当たります。正解率は95パーセントです。しかし至急の50件は1件残らず素通りしていて、業務としては何もしていないのと同じです。

逆の外し方もあります。取りこぼしを嫌って至急を広く拾う設定にすると、300件が至急の列に積まれ、そのうち本物は50件だけ、という状態になります。担当者は250件の空振りを踏まされる。現場から苦情が出るのはこちらです。同じ「精度を上げた」という言葉でも、中身は正反対になりました。だから最初に決めるべきなのは、数字の目標ではなく、2種類ある外し方のうち、どちらを減らしたいのかのほうです。

判定の結果は4つの枠に分かれる。これが混同行列

外し方が2種類あるという話を、数え方の形にしたものが混同行列です。実際にそうだったかどうかで2通り、判定がそうだと言ったかどうかで2通り。この2つを組み合わせると、判定の結果は必ず4つのどれかに入ります。表にすると、当たりが2枠、外れが2枠になります。

この記事での呼び方	何が起きているか	正式な呼び方	業務ではこう見える
拾って当たり	本当にそうで、判定もそうだと言った	真陽性	期待どおり。何も問題は起きない
空振り	本当は違うのに、判定はそうだと言った	偽陽性	確認の手間が増える。現場の時間を食う
見逃し	本当はそうなのに、判定は違うと言った	偽陰性	誰にも気づかれない。機会や事故がそのまま流れる
見送って当たり	本当に違い、判定も違うと言った	真陰性	何も起きない。件数だけが大きくなりやすい

この表の値打ちは、外れの2枠を分けて数えられるところにあります。空振りと見逃しは、どちらも外れですが、痛みの出る場所が違います。空振りは担当者の時間を削り、見逃しは静かに損を作ります。前者は苦情という形ですぐ表に出ますが、後者は誰も気づかないまま積み上がるので、放っておくと空振りだけを減らす方向に運用が寄っていきます。

表そのものを作る作業は難しくありません。判定が出した答えと、あとから分かった事実を1件ずつ突き合わせて、4つの枠に振り分けるだけです。難しいのは、あとから分かった事実をどう用意するかのほうで、ここを雑にやると数字そのものが信用できなくなります。その話は後半で扱います。

件数が偏った業務では、何も拾わない判定でも正解率は9割を超える

正解率は、4つの枠のうち当たりの2枠を足して、全体の件数で割った割合です。式の形からすぐ分かるとおり、件数が一方に大きく偏っていると、多いほうに全部寄せるだけで数字が高くなります。ある解説でも、100個のデータのうち片方が1個しかない場合、常に多いほうを答えるだけで正解率は99パーセントになると説明されています。そのとき、拾えた割合はゼロです。

問題は、BtoBの現場で判定を入れたくなる業務が、そろって偏っている点です。不正や不審な動きの検知、解約の予兆、見込みありの判定、障害の予兆。どれも「起きるほう」が少数で、多くは何も起きません。偏っている業務にこそ判定を入れたくなり、偏っている業務でこそ正解率が当てにならないという、いちばん困る組み合わせになっています。

受け取り方を変えるだけで、この罠はほぼ避けられます。正解率を伝えられたら、必ず2つ追加で聞く。拾うべきものが何件あって、そのうち何件を拾えたのか。そして、拾った件数のうち本物は何件だったのか。この2つが答えられない報告は、まだ評価が終わっていないと扱ってよい、という決めごとにしておくと、報告する側の準備も安定します。

適合率と再現率は、分母が違う2つの割合

いま追加で聞いた2つが、そのまま適合率と再現率です。適合率は、判定が拾った件数を分母にして、そのうち本物だった割合を見ます。再現率は、本物の総数を分母にして、そのうち拾えた割合を見ます。同じ数字を上に置いていても、下に置く数が違うので、片方が高くてももう片方が低いということが普通に起こります。

先ほどの1,000件の例に数字を入れます。至急が実際に50件あり、判定が300件を至急として拾い、そのうち本物が40件だったとします。適合率は300件のうち40件で、およそ13パーセント。再現率は50件のうち40件で80パーセントです。見逃しは10件、空振りは260件、見送って当たりは690件になります。この判定の正解率を計算すると73パーセントで、1件も拾わない判定の95パーセントより低いという結果になります。

読み方はここで決まります。適合率が低いということは、現場の空振りが多いということ。再現率が低いということは、取りこぼしが多いということ。2つを1つの数字にまとめる指標もあり、調和平均をとる形が知られていますが、まとめてしまうと、どちらの側で外しているのかが見えなくなります。運用では、まとめた1つより、分けた2つを並べて見るほうが手が打てます。

見逃しを嫌う場面と、間違って拾うのを嫌う場面

ここからが本題です。2つの割合のうちどちらを先に見るかは、業務によって変わります。判断の基準は精度の高さではなく、外れが誰にどう当たるかです。ある解説では、適合率は誤って拾うのを減らしたい場面、たとえば迷惑メールの誤検出を避けたい場合に向き、再現率は見落としを減らしたい場面、たとえば医療の診断で病気の見逃しを減らす場合に重視されると説明されています。この整理は、そのまま業務に持ち込めます。

見逃しを嫌う業務は、1件の見逃しが取り返しのつかない損になるものです。不正や不審な動きの検知、重大な障害の予兆、大口顧客の解約の兆し、法令に触れる表現の検出。これらは、100件の空振りを踏んででも1件を拾いにいく価値があります。逆に言えば、空振りの確認を社内で吸収できる体制があるかどうかが、この選択が成り立つ条件になります。

間違って拾うのを嫌う業務は、空振りが社外に触れるものです。顧客への自動送信、営業担当への自動通知、広告の自動停止。ここで外すと、顧客の手元に誤った連絡が届いたり、動いていた施策が止まったりします。外れが社外に出る判定は、拾った中の本物の割合を先に見る。この一行を運用の決めごとにしておくと、迷いが減ります。

業務ごとに、先に見る数字と合格ラインを決めておく

業務ごとの判断を、そのつど会議で決めていると、担当者が変わった時点で再現できなくなります。判定を入れる前に、業務の一覧と、それぞれで先に見る数字を表にしておくのが実務的です。マーケの領域と情報システムの領域では、外れたときに起きることが違うので、同じ表に並べると差が見えやすくなります。

判定を使う業務	外れたときに何が起きるか	先に見る数字	合格ラインの置き方
見込みあり判定（引き合いの選別）	見逃すと商談の機会を失い、拾いすぎると営業の時間が溶ける	拾えた割合を先に、拾った中の本物には下限を置く	拾える割合を8割に置き、拾った中の本物が3割を割ったら設定を見直す
問い合わせの自動振り分け	見逃すと初動が遅れ、拾いすぎると至急の列が渋滞する	至急の取りこぼしの件数	至急の取りこぼしをゼロ件に近づけ、列の長さは人手の上限で決める
不正・不審な動きの検知	見逃しの損が大きく、確認の手間は社内で吸収できる	拾えた割合	見逃し1件の想定損と、確認1件の人件費の比から逆算する
顧客への自動送信の可否判定	誤って送ると社外に出て、取り消しがきかない	拾った中の本物の割合	誤送信の許容をゼロに置き、迷う分は人の確認へ回す
広告の自動停止	止めすぎると機会を失い、止めなければ費用が漏れ続ける	2つを必ず並べる	停止の提案までを自動にし、実行の判断は人が持つ

表を作るときの順番に一つだけ条件があります。業務の名前、外れたときに起きること、先に見る数字、の順で埋めること。数字から入ると、取りやすい数字がそのまま目標に据えられます。何が起きるかを先に書くと、そこから見るべき数字が自然に決まるので、議論が短くなります。

もう一つ、合格ラインに他社の水準や一般的な目安を持ってこないことです。同じ手法を使っても、対象の偏り方が違えば数字は変わります。8割という数字が優秀なのか平凡なのかは、その業務で本物が何件に1件の割合で現れるかによって変わる。比べる相手は他社ではなく、判定を入れる前の自社の状態です。

適合率と再現率は同時には上がらない。線を動かすと入れ替わる

多くの判定は、内部で「そうらしさ」の度合いを数字で出していて、どこから上をそうだと見なすかの線を1本引いています。線を下げれば拾う件数が増えるので、拾えた割合は上がり、拾った中の本物の割合は下がる。線を上げれば逆です。ある解説でも、この2つは相反する関係にあり、一方を高めるともう一方が下がる傾向があると明記されています。

この性質を知っていると、依頼の言葉が変わります。「両方を上げてください」という依頼は、線の位置を動かしてほしいという話ではなく、仕組みそのものを作り直してほしいという話です。作り直しには材料の追加も期間も要るので、線を動かすだけでできることと、作り直しが要ることを分けて依頼すると、期待のずれが起きません。

実務でよく効くのは、線を1本ではなく2本引く形です。上の線より上は自動で処理し、下の線より下は自動で見送り、その間に落ちたものだけを人が見る。迷う帯を人に回す設計にすると、自動化の範囲を保ったまま、外れが社外に出る確率を下げられます。帯の広さは、人が1日に確認できる件数から逆算して決めます。

合格ラインを決める4工程

ここまでを手順にまとめます。数字を見てから決めるのではなく、数字を見る前に決めておくのが要点です。順番を入れ替えると、目の前に出てきた数字に合格ラインのほうが引っ張られます。

工程2の費用は、精密に出そうとしないでください。桁が合っていれば判断は変わりませんし、精密に出そうとすると、その作業だけで数週間が消えます。むしろ費用を置かないまま議論を始めると、参加者全員が「どちらの誤りも減らしたい」と言い、会議が結論なく終わります。

工程3が抜けると、机の上でしか成り立たない合格ラインができます。1日に200件の確認を前提にした設計を、担当2人の部署に渡しても回りません。確認できる件数を先に確かめてから、拾う件数の目標を書く。順番が逆になっている設計は、稼働の1か月後に必ず止まります。

見逃し1件と空振り1件の重さを、金額と時間で置く

工程2をもう少し具体的に見ます。見逃し1件の重さは、失った機会の期待値で置くのが扱いやすい形です。見込みあり判定で拾い損ねた1件について、その先で商談になり受注に至る確率と、平均の受注額を掛け合わせる。仮に平均受注額が300万円、受注に至る割合が2割なら、見逃し1件はおよそ60万円という置き方になります。

空振り1件の重さは、確認にかかる時間で置きます。1件の確認に5分、時間あたりの人件費を3,000円とすれば、1件はおよそ250円です。この2つを並べると、見逃し1件と空振り1件では、桁がいくつも違うことが分かります。この差が大きい業務では、空振りを何百件踏んででも拾いにいく設計が正しくなります。逆に、差が小さい業務では、拾いすぎない設計に寄せます。

ただし、この比は固定値ではありません。繁忙期は確認に割ける余力が減るので、空振りの重みが上がります。商材の単価や受注の割合が変われば、見逃しの重みも動きます。合格ラインは数字だけで書かず、見直しの期日と一緒に書くのは、この動きに追いつくためです。期日のない合格ラインは、決めた翌月から実態と離れ始めます。

集計の作り方を間違えると、数字そのものが信用できなくなる

4つの枠に振り分けるには、あとから分かった事実が要ります。ここでつまずく業務が多いのは、判定した時点では正解が分からないからです。見込みあり判定なら、商談になったかどうかが分かるのは数か月後。評価の対象期間を決めないまま集計すると、まだ結果が出ていないものが見逃しとして数えられ、実力より悪い数字が出ます。

もう一つ、判定に使った材料の中に、結果そのものが混ざっていないかの確認が要ります。たとえば解約の予兆を判定する仕組みで、材料に解約の申し出の記録が入っていると、検証では極めて高い数字が出るのに、本番ではまったく当たりません。検証で出た数字が良すぎるときは、精度を喜ぶ前に材料を疑うのが順番です。

数える単位も先に決めます。件数で数えるか、金額で数えるかで結論が変わるからです。法人向けの商材は1社ごとの大きさが違うので、件数では8割を拾えていても、金額では半分しか拾えていない、ということが起こります。集計の作業に入る前に、次の5点を確かめてください。

• 判定した時点と、結果が確定する時点の間隔を、業務ごとに日数で書き出す
• 評価の対象を、結果がすでに確定した分だけに限る。確定していない分は数から外す
• 判定に使った材料を1項目ずつ見て、結果の情報が混ざっていないかを確かめる
• 件数の集計と、金額の集計を両方作る。片方だけだと打ち手を間違える
• 外した例を、見逃しと空振りに分けて、実物のまま残す。数字だけの記録は改善に使えない

BtoBの法人商材で、教科書と変わるところ

一般的な解説は、件数が十分にあり、結果がすぐ分かる前提で書かれていることが多く、法人向けの商材にそのまま当てはめると噛み合わない点が3つあります。1つ目は件数です。月に数十件しか判定が動かない業務では、1件の増減で割合が数ポイント動きます。月次で一喜一憂しても意味がないので、四半期でまとめて見る、と最初に決めてしまうほうが実務的です。

2つ目は、正解が分かるまでの時間です。検討期間が長い商材では、判定してから答え合わせができるまで数か月かかります。その間、判定は良いか悪いか分からないまま動き続ける。ここを放置しないために、答え合わせの前に見る指標を別に決めておきます。拾った件数の推移、拾った先で初回の接触まで進んだ割合など、早く分かるもので代用します。

3つ目は、判定の対象が個人ではなく組織であることです。同じ会社の別の担当者が別々の行として数えられていると、1社の中で拾って、同じ1社の中で見逃す、という状態が起きます。この状態で作った混同行列は、数字が動いても何が起きたのか読めません。名寄せが終わっていないうちは、判定の評価そのものを始めない、という順番になります。

生成AIの使いどころは、集計と、外した例を並べること

判定そのものを作るところではなく、判定の結果を扱うところに生成AIは効きます。集計の作業、外した例の整理、共通点の言語化。どれも人がやると時間がかかり、時間がかかるせいで飛ばされ、飛ばされるせいで改善が止まっていた工程です。具体的には次の3つが向いています。

1. 4つの枠の件数を毎回同じ形で出させる：判定の結果と、あとから分かった事実の一覧を渡して、4つの枠の件数と、拾えた割合、拾った中の本物の割合、対象期間を並べた1枚を作らせる。手順が毎回同じ形になるので、期間をまたいで比べられるようになる
2. 外した例を見逃しと空振りに分けて一覧にさせる：1件ずつの内容を短く要約させると、数百件でも人が読める量に落ちる。ここで数字が例に変わるので、会議の議論が具体になる
3. 見逃しに共通して出てくる特徴の候補を挙げさせる：業種、規模、流入の経路、問い合わせの文面の長さなど、候補を広く出させる。ここで出てくるのは仮説であって結論ではない

3つ目の使い方には条件が付きます。挙がった候補は、そのままでは採用できません。その特徴で実際に絞ったときに、拾える件数と空振りの件数がどう動くかを、元のデータで確かめる必要があります。AIには根拠を書かせ、その根拠を人が元のデータで確かめるところまでを1組にする。確かめの工程を省くと、もっともらしい理由で設定を変えて、翌月に数字が悪化します。

2つ目の使い方も、渡す前に一つ整えておくことがあります。外した例の一覧に、判定が使った材料の値を添えておくことです。値がないと、なぜ外したのかの推測が本文の印象だけで行われ、実際の材料と無関係な結論が出ます。要約させる対象に、判断の材料を必ず含める。これだけで、出てくる仮説の質が変わります。

AIに決めさせてはいけないのは、どちらの誤りを許すかの判断

線をどこに引くか、つまりどちらの誤りをどれだけ許すかは、生成AIに決めさせてはいけない部分です。能力の問題ではありません。この判断は、費用と責任をどう配分するかの選択であって、データから導かれる答えが存在しないからです。同じデータでも、見逃しの損を誰が被るかによって、正しい線の位置は変わります。

実際に頼んでみると、多くの場合、2つの割合をまとめた指標が最大になる線を返してきます。数字の扱いとしては筋が通っていますが、そこには業務の痛みの重みが入っていません。見逃し1件が60万円で空振り1件が250円という前提を渡していないのだから、当然です。前提を渡していない判断は、渡さなかった側の責任になります。

線の引き方はこうします。候補となる線と、その線での4つの枠の件数を出させるところまでは機械。どれを選ぶかは人。そして、選んだ理由を1行で残す。理由を残す目的は、次の見直しのときに前回の判断を検証できるようにするためです。記録がないと、見直しのたびに同じ議論を最初からやり直すことになり、判定は永久に改善しません。

運用に載せる：報告の型と、見直しの周期を決める

最後に、決めた合格ラインを運用に載せる形を書きます。単発の評価で終わる判定と、使われ続ける判定を分けるのは、報告の型が固定されているかどうかです。毎回違う形で報告が来ると、読む側が前回と比べられず、良くなったのか悪くなったのかが分からないまま承認だけが続きます。

• 報告は毎回同じ形にする。4つの枠の件数、拾えた割合、拾った中の本物の割合、対象期間の4点を必ず並べる
• 正解率だけの報告は受け取らない。決めごとにしておくと、報告する側の準備の手順も安定する
• 外した例を毎回5件、実物のまま添える。数字だけの報告は、読む側が改善点を思いつけない
• 見直しは四半期に1回。数字が動いていなくても実施する。動いていないこと自体が情報になる
• 判定の材料や対象の範囲を変えたら、その時点から数字を取り直す。変更の前後を混ぜて集計しない

見直しの場で見るのは、数字の上下だけではありません。対象の偏り方が変わっていないかを必ず確かめます。本物の出現する割合が半分になれば、同じ仕組みでも拾った中の本物の割合は下がります。数字が下がったときに、仕組みが劣化したのか、対象が変わったのかを分けて見る。ここを分けないと、変える必要のない設定を触ることになります。

見る人は、役職ではなく名前で決めます。全員の担当は誰の担当でもありません。そして、四半期の定例の議題として固定します。定例の議題に入っていない指標は、3か月で誰も見なくなります。これは判定に限った話ではありませんが、判定は数字が出続けるぶん、見られていないことに気づきにくい領域です。

やりがちな失敗と、判定を使うのをやめる条件

実際に起きる失敗を並べます。どれも、悪意や手抜きから起きるものではなく、数字が出ているという事実そのものが判断を鈍らせることで起きます。数字が出ていると、その数字が何を測っているかを確かめる手間が飛ばされやすくなります。

• 正解率だけで合格を出す。件数が偏った業務では、1件も拾わない判定でも9割を超える
• 拾えた割合と、拾った中の本物の割合の両方を上げるよう依頼する。線を動かすだけでは同時には上がらない
• 他社の数字や一般的な水準を合格ラインにする。対象の偏り方が違えば、同じ手法でも数字は変わる
• 外した例を見ずに数字だけで議論する。改善の手掛かりは、外した例の中にしか入っていない
• 検証の材料に結果の情報が混ざったまま数字を出す。良すぎる数字は本番で再現しない
• 一度決めた合格ラインを更新しない。対象の偏りは、季節と施策と組織の変更で動く

使うのをやめる条件も先に書いておきます。1つ目は、拾った先で人が確認できる件数を超えているとき。自動で拾えても人が見られないなら、拾う意味がありません。2つ目は、結果が記録に残らない業務のとき。答え合わせができない判定は、良くなっているのか悪くなっているのかを永久に確かめられません。

3つ目は、判定の結果によって打ち手が変わらないときです。拾っても拾わなくても、次にやることが同じなら、その判定は業務を何も変えていません。判定を入れる前に、拾ったら何をするかを1文で書けるか確かめる。書けないなら、作るのは判定ではなく、その先の対応の手順のほうです。

よくある質問

拾えた割合は何割あれば合格ですか

業務によって変わるので、一律の目安はありません。決め方は共通していて、見逃し1件の想定損と、空振り1件の確認費用の比から逆算します。見逃しのほうが桁違いに重い業務では、空振りを大量に踏む前提で高く置きます。逆に、空振りが顧客に直接触れる業務では、拾えた割合を下げてでも拾った中の本物を優先します。他社の数字を持ってきて合格ラインにするのが、いちばん外れやすいやり方です。

拾った中の本物が1割台でも使ってよいのですか

使える場合があります。判定を入れる前に、担当者が同じ量を目で見て何割を当てられていたかと比べてください。手作業のときが3パーセントで、判定を入れて13パーセントになったなら、確認1件あたりの成果は4倍以上になっています。比べる相手は理想の数字ではなく、判定を入れる前の自社の状態です。ただし確認の件数が増えて人が回らないなら、それは別の理由で不合格になります。

2つの割合をまとめた1つの指標を使ってはいけませんか

使ってはいけないわけではありません。仕組みを何通りか比べて選ぶ場面では、1つの数字にまとまっているほうが扱いやすい。問題は、運用の報告で使ったときです。まとめた数字だけを見ていると、見逃しが増えたのか空振りが増えたのかが分からず、打ち手が決まりません。比較には1つの数字、運用には2つの数字と使い分けるのが実務的です。

件数が少なくて、月に10件ほどしか判定が動きません

その規模では、月ごとの割合を見ても意味のある差は出ません。四半期でまとめるか、件数そのものを見るほうが確かです。見逃しが3件から1件に減ったという事実は、割合に直さなくても伝わります。少ない件数のうちは、割合を追うより、外した例を全件読むほうが改善の速さで勝ちます。全件読める規模であることは、小さい組織の利点です。

判定の中身が説明できない仕組みでも導入してよいですか

業務によります。拾った先で人が確認する設計なら、中身が説明しきれなくても運用できます。確認の工程が、説明の代わりに責任を引き受けているからです。一方、判定の結果がそのまま顧客への対応や取引の可否に反映される設計では、説明できない仕組みは避けます。説明のしにくさは、人が確認する範囲の広さで埋める、という関係で考えると判断しやすくなります。

まとめ

判定の良し悪しは、当たった割合ひとつでは決まりませんでした。外し方には、見逃しと空振りの2種類があり、痛みの出る場所が違います。混同行列は、この2種類を分けて数えるための表で、そこから出てくるのが、拾った中の本物の割合である適合率と、本物のうち拾えた割合である再現率です。件数が偏った業務では、1件も拾わない判定でも正解率が9割を超えるので、正解率だけの報告は受け取らない、と決めてしまうのが最初の一歩になります。

どちらの割合を先に見るかは、業務ごとに違います。見逃しが取り返しのつかない損になる業務では拾えた割合を、外れが社外に触れる業務では拾った中の本物の割合を先に見ます。そして2つは同時には上がりません。線を動かすだけで変えられるのは、どちらに寄せるかの選択だけです。合格ラインは、見逃し1件と空振り1件の費用を桁で置き、人が確認できる件数の上限を確かめてから、期日とセットで書きます。

生成AIに任せるのは、4つの枠の集計と、外した例を並べて共通点の候補を挙げるところまでです。どちらの誤りをどれだけ許すかは、データではなく費用と責任の配分で決まるので、選ぶのは人が担い、選んだ理由を1行で残します。記録が残っていれば、次の見直しは前回の続きから始められます。判定は入れた日ではなく、この見直しが2回目に回った日から、業務の道具になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。