AIエージェントの評価とは？｜答えだけでは測れない

「うちのAIエージェント、精度はどのくらい出ていますか」「正解率が9割を超えたので、そろそろ本番に出しましょう」——AIに一続きの作業を任せる話が具体化してくると、社内の会議で決まって交わされるやり取りです。数字が出てくるぶん、議論が前に進んだように感じられます。ところが、この2つの発言はどちらも同じ前提に立っています。最後に出てきた答えが合っていれば、その仕組みは良いものだという前提です。これは誤りです。同じ答えにたどり着いていても、そこまでの通り道が違えば、かかる費用も事故の起きやすさもまったく別のものになります。この記事では、AIエージェントの評価で何をどう測り、題材をどこから集め、どこに合格線を引き、本番に出す判断にどうつなぐかを、順を追って整理します。

正解率だけを見て決めると、何が起きるか

評価の話が出てくるのは、たいてい試しに動かしてみた後です。問い合わせ100件を種類ごとに振り分けさせ、90件が正しく分かれた。この9割という数字は分かりやすく、決裁の資料にも載せやすい。ところが、この1つの数字だけを持って本番に出すと、決まって同じところでつまずきます。点数が同じでも、費用と事故の起きやすさは揃っていないからです。

測り方の隙がどれだけ点数を押し上げるかを示す事例が報告されています。2026年4月時点で、公開されている主要な8つの評価用題材集のうち7つでほぼ満点を取った自動の仕組みが、実際には課題を1つも解いていなかったというものです。答えの形式さえ合わせれば点が入る作りになっていたため、中身を解かずに点だけが取れてしまいました。点数は、測り方に隙があると簡単に上がります。

同じ報告には、もう1つ実務に効く数字があります。1回だけ走らせたときには6割の成功率だった仕組みが、同じ課題を8回続けて走らせると2割5分まで落ちた、という数字です。本番の業務は1回だけ走るものではありませんから、意味を持つのは後者のほうです。1回の点数を根拠に導入を決めると、運用が始まってから人が手直しする件数で、その差を払うことになります。

同じ答えでも、通り道が違えば費用も事故率も変わる

通り道の違いを、具体的な場面で見ます。「先月の展示会で名刺交換した相手のうち、製造業で部長職以上の人を抜き出して一覧にする」という作業をAIに任せたとします。出てきた一覧は、2つの通り道のどちらでも同じ12件でした。答え合わせの点数は、当然どちらも満点です。

片方の通り道は、名刺データの一覧を1回取り出し、業種と役職の条件で絞り、そのまま表にしただけです。工程は3つ、所要は20秒。もう片方は、名刺を1件ずつ取り出しては役職を判定し、判定に迷うたびに社名を検索し直し、300回を超えるやり取りをしています。所要は14分、費用は数十倍。出てきた表を見比べても、この差は一切見えません。

差が効いてくるのは件数が増えたときです。300件なら14分で済んでも、3,000件になると呼び出しの上限に当たって途中で止まります。試しの規模では現れず、本番の規模で初めて現れる違いが、通り道には集まっています。だから評価では、答えの正誤とは別に、何手で終わったか、どの道具を何回呼んだかを必ず記録して並べます。

通り道を見ると、直し方も変わります。上の例で費用を下げるために必要なのは、より賢いモデルに替えることではなく、「1件ずつではなく、まとめて取り出してから絞る」と手順を書き直すことです。点数だけを見ている限り、この打ち手は候補にすら上がりません。評価は成績表を作る作業ではなく、次に何を直すかを決めるための作業です。

止まらずに間違えるほうが、止まって失敗するより危ない

途中で止まった場合は、少なくとも気づけます。担当者が異変に気づき、原因を確かめ、直す。厄介なのは、途中の判断が間違っていても最後まで走り切り、形の整った成果物が出てくる場合です。この場合、誰も気づかないまま業務が進みます。

先ほどと同じ報告では、複数の工程をまたぐ複雑な課題において、4割を超える実行が「筋の通らない考え方を経由して、たまたま正しい答えにたどり着いていた」とされています。正解しているのに、正解した理由が間違っている状態です。条件がわずかに変わった次の回では、同じやり方はもう通用しません。

実務でこれが現れる形は、だいたい決まっています。宛名の会社名が同じ業種の別の会社になっている、根拠として挙げた事例が業種違いの顧客のものになっている、金額の単位が千円と円で混ざっている。どれも文章としては自然で、読み流すと素通りします。むしろ文面が整っているぶん、確認する人の目を通り抜けます。

ここが評価を設計するときの分かれ目です。間違いに気づけるかどうかを測る項目を入れておかないと、点数が上がるほど危険が増えます。実務で必ず入れるべき決めごとは3つあります。AIに最終判断をさせない範囲を先に決める、答えには必ず根拠になった資料の名前を書かせる、迷った場合は止めて人に回す。この3つは精度を上げる話ではなく、評価の設計そのものの話です。

測る対象を5つに分ける

何を測るのかを分けます。まとめて「精度」と呼んでいる限り、上がらない原因も分かりません。実務で扱いやすいのは、次の5つに分ける形です。上から順に、業務の担当者が気にする順番に並べています。

測る対象	具体的に何を見るか	測り方
成果物の質	求めた形式になっているか、事実として正しいか	人が採点、または採点役のAI
途中の判断	立てた段取りが妥当か、その段取りどおりに動いたか	記録を並べて突き合わせる
道具の使い方	選んだ道具が合っているか、渡した値が正しいか、無駄な呼び出しがないか	数えれば決まる
所要時間と費用	終わるまでの手数、やり取りの分量、1件あたりの費用	数えれば決まる
止め時の判断	迷ったときに止まるか、終わったことを正しく判断できるか	人が採点

この分け方は、公開されている評価の枠組みでもおおむね共通しています。道具の呼び出し、段取り、課題の完了、考え方と安全性という4つの領域に、あわせて12前後の項目を置く構成です。呼び方や粒度は違っても、答えと経過と効率を分けて測るという骨格は変わりません。

分けたうえで実務的に重要なのは、右端の測り方の欄です。道具の使い方と、所要時間と費用の2つは数えれば決まるので、採点する人も採点役のAIも要りません。渡した値が想定どおりか、必要のない呼び出しが何回あったか、全体で何手かかったか。すべて記録から機械的に集計できます。

逆に、成果物の質と止め時の判断には必ず判断が入ります。まず数えれば決まる項目を固め、判断の要る項目にだけ人の時間を使う。この順番にしないと、評価そのものが重すぎて続きません。評価が続かない組織は、たいてい最初から全項目を人が採点しようとしています。

評価の題材を、どこから集めるか

測る対象が決まったら、次は題材です。ここで作り話の課題を並べると、点数は出ても実務では役に立ちません。集める先は3つあります。どれも社内にすでにあるものです。

1つ目は、過去に人がやった実務そのものです。半年前の問い合わせ100件、昨年の展示会で集めた名刺、去年発行した見積書。すでに人が処理した結果が残っているので、答え合わせの正解が手に入ります。新しく正解を作る手間がかからない点で、最初に手を付けるならここです。

2つ目は、過去に起きた失敗です。誤送信、宛先の取り違え、単位の間違い、期限の見落とし。実際に事故が起きたときの条件は、そのまま最も価値の高い題材になります。事故報告書が残っているなら、そこから10件拾うだけで題材集の骨格ができます。

3つ目が境目の事例です。製造業とも商社ともとれる会社、部長と本部長のどちらとも読める役職、締め日が月末とも月初ともとれる契約。正解が1つに決まらない事例をわざと入れておくと、止まるべきときに止まるかどうかが測れます。ここを入れずに評価すると、迷ったときの動きが分からないまま本番に出すことになります。

運用に入ってからは、題材を増やし続けます。公開されている手引きでも、本番で起きた失敗はそのつど後戻り確認用の題材に加えるべきだと勧められています。同じ失敗を二度目に起こさない仕組みは、ここにしかありません。

• 題材には、入力と正解のほかに「これは減点」という例も添える
• 正解が複数あり得る事例は、許容する範囲を文章で書いておく
• 個人情報を含む実データを使う場合は、置き場所と保存期間を先に決める
• 題材を作った日付を残す。業務ルールが変われば正解も変わる
• 本番で失敗した件は、原因を直す前に題材へ写す。直すと再現できなくなる

題材は何件そろえれば足りるか

件数の相場を聞かれることが多いのですが、先に決めるべきは件数ではなく分類の数です。任せる業務に型が5つあるなら、まず5つそれぞれに題材が要ります。型の数を数えないまま100件集めても、偏った100件になります。

目安としては、1つの型につき10件から20件です。型が5つなら50件から100件。この規模で、通り道の癖はほぼ見えてきます。ここから、失敗が集まった型だけを50件に増やす、という育て方をします。最初から500件そろえようとすると、たいてい作り終わる前に取り組み自体が止まります。

件数より効くのは、題材の偏りです。用意した100件のうち90件が同じ型なら、その型の点数がそのまま全体の点数になります。点数を見る前に、題材の内訳を見る。型ごとの件数と型ごとの点数を並べた表を作れば、平均値に隠れていた弱点がその場で出てきます。

もう1つ、件数を語るときに抜けやすいのが難易度の配分です。実務で9割を占める素直な事例ばかりを集めると、点数は高く出ますが、本番で人の手が要るのは残り1割のほうです。素直な事例を6割、判断が要る事例を3割、正解が決まらない事例を1割。この配分にすると、点数は下がりますが読める点数になります。

評価を組み立てる5工程

ここまでの内容を、着手の順番に並べ直します。この順で進めれば、最初の評価は2週間ほどで形になります。逆に順番を入れ替えると、途中で手戻りが起きます。

この5工程のうち、飛ばされやすいのは4番目です。人が採点する手間を惜しんで、いきなり採点役のAIに任せてしまう。ところが基準の文章がない状態では、採点役に渡す指示そのものが書けません。人が20件採点する作業は、採点のためではなく、基準の文章を作るための作業だと考えてください。

人が採点するときの作法

人の採点は正確ですが高くつきます。だからこそ、どこに人を使うかを先に決めます。作法として押さえたいのは4つです。

1つ目は、点数の刻みを増やさないこと。5段階ではなく合否の2択から始めます。3や4という中間の点数は、付ける人によって意味が変わるからです。合否で迷う事例が出てきたときは、刻みが足りないのではなく、基準の文章が足りていない合図です。刻みを増やすのではなく、基準の文章に条件を1行足します。

2つ目は、2人で採点して食い違いを見ること。同じ題材で人どうしの判断が割れる項目は、AIに採点させても必ず割れます。人が合わせられない基準を、機械に合わせさせることはできません。食い違った件数が全体の2割を超えるなら、採点を続ける前に基準の文章を書き直します。

3つ目は、採点する人の選び方です。作った本人だけで採点すると、意図を知っているぶん甘くなります。必ず、その業務を実際にやっている担当者を1人入れる。作った人と使う人で採点が割れた箇所こそが、本番で問題になる箇所です。

4つ目は、採点にかかった時間を記録することです。1件3分なら100件で5時間。この数字が出ていれば、どこから先を採点役のAIに任せるべきかを費用で判断できます。時間を測っていない評価は、続けるかどうかの判断もできません。

採点役のAIは、どこまで信じてよいか

件数が増えると、人の採点は続きません。そこで、別のAIに採点させる方法が使われます。有効な手ですが、限界がはっきりしています。ここを知らずに任せると、点数だけが独り歩きします。

2026年6月に公開された大規模な検証があります。9つの提供元による21種類の採点役のモデルに、3種類の題材集で合計54万件を超える判定をさせ、一致度と偏りを調べたものです。結論は率直で、再現性は高いのに、妥当性は保証されないというものでした。

具体的な数字を3つ挙げます。1つ目、単純な一致率は、偶然の一致を差し引いた指標と比べて平均で38.6ポイント高く出ていました。「人と8割一致した」という報告は、そのままでは実力を表していません。2つ目、選択肢を提示する順番だけで判定が変わる度合いは、モデルによって0.002から0.192まで、およそ96倍の開きがありました。低価格帯のモデルほど偏りが大きい傾向です。3つ目、同じ題材を繰り返して同じ判定を返す度合いが0.992なのに、提示順の偏りが0.192という組み合わせが実在しました。いつも同じ答えを返すことと、正しい答えを返すことは別です。

加えて、採点役は自分と同じ系統のモデルが書いたものを高く評価する傾向が、複数の研究で報告されています。作る側と採点する側に同じ系統のモデルを使うと、点数が自動的に持ち上がる構図です。作らせるモデルと採点させるモデルは、系統を変えるのが最低限の作法になります。なお、長い回答ほど高く評価するという偏りについては、上の検証では相関が0.011未満と小さく、以前ほど大きな問題ではないと報告されています。

使い方は3段階に絞れます。まず人が20件から30件を採点して基準の文章を作る。次に同じ題材を採点役に採点させ、人の判定と1件ずつ突き合わせる。一致しない事例が2割を超えるなら、採点役を替えるのではなく基準の文章を直す。採点役のAIは、人の基準を写し取る道具であって、基準を作る道具ではありません。

提示順の偏りへの手当ても入れておきます。2つを並べてどちらが良いか選ばせる形式は避け、1つずつ基準と照らして合否を出させる。どうしても比べる必要がある場合は、並べる順番を入れ替えて2回採点させ、判定が変わった事例だけを人に回す。この一手間で、順番の偏りは実務上ほぼ無害になります。

合格線は、段階ごとに変える

合格線を1本だけ引くと、試している段階では厳しすぎ、本番では緩すぎる、という状態になります。段階ごとに、見る項目も線の高さも変えます。

公開されている目安では、課題の成功率について、試している段階は6割以上、本番に出した直後は7割5分以上、定常的に回す段階では8割5分以上という置き方が紹介されています。2026年7月時点で示されている一般的な水準なので、自社の業務で許される誤りの量から引き直すのが前提です。誤りが社外に出る業務なら、8割5分でもまったく足りません。

段階	主に見る項目	線の置き方
試している段階	課題の成功率、誤りの出方、1件あたりの費用	3つに絞る。通り道の細かい指標はまだ見ない
本番に出す直前	上の3つに加えて通り道の安定度と止め時の判断	同じ題材を繰り返し、最も悪い回でも線を超えるか
本番の初期	失敗した件の内訳、人が直した件数と理由	件数ではなく、直した理由の種類で見る
定常運用	上記に加えて費用の推移と題材の追加件数	毎月、題材を足したうえで線を引き直す

線の高さを業務側から決める方法もあります。同じ作業を人がやったときの品質を基準に置く形です。人が処理したときの誤り率が3%なら、そこを最初の線にする。人より少しでも良ければ導入する、と決めておくと議論が短く済みます。人の誤り率を測っていない業務では、まずそこから測ります。

費用の線も同時に引きます。1件あたりいくらを超えたら不合格、という線がないと、点数だけが上がって費用が業務の価値を超えます。点数の線と費用の線は、必ず対にして書く。片方だけの線は、運用に入ってから必ず問題になります。

1回の点数は当てにならない

評価でいちばん見落とされるのが、繰り返したときの安定度です。同じ題材、同じ指示で走らせても、結果は毎回同じにはなりません。ここを測らずに本番へ出すと、稼働してから初めてばらつきの幅を知ることになります。

2026年5月に公表された数値では、1回だけ走らせたときの成功率が74.5%だった仕組みで、同じ課題を4回続けて走らせて全部成功した割合は60.3%まで下がっていました。回数を増やすほど、全部成功する割合は必ず下がります。8回連続なら、さらに落ちます。

実務では、この差がそのまま人の作業量になります。1回目の成功率が9割でも、繰り返して安定するのが7割なら、残りの3割は誰かが手で直します。本番に出す判断に使うのは、1回の点数ではなく、繰り返したときの最低値です。平均値ではありません。最低値です。

何回繰り返すかは、業務の頻度で決めます。日に1回動く処理なら5回、1時間ごとに動く処理なら20回。1か月のうちに何回動くかを数え、その回数に耐えるかどうかを見るのが実務的です。ばらつきが大きい場合の打ち手は、モデルを替えることではなく、判断させる箇所を減らして手順に落とすことです。

本番に出してよいかの判断へつなぐ

点数がそろっても、そのままでは決裁になりません。決裁者が知りたいのは点数ではなく、外れたときに何が起きるかです。評価の結果を、この形に翻訳します。

必要なのは3つの質問への答えです。外れた1件は、誰がいつ気づくか。気づいてから直すのに何分かかるか。直すまでの間に、その1件は社外に出てしまうか。この3つに答えられない限り、点数がいくつであっても本番には出せません。逆にこの3つが埋まっていれば、7割の成功率でも出せる業務はあります。

出し方も段階に分けます。まず、成果物は作るが送らない状態で動かし、人が全件確認する。次に、抜き取り確認へ切り替える。最後に、決めた条件に当たったときだけ人に回す。いきなり最後の形にせず、確認の密度を段階的に下げていく順番で出します。1つの段階は2週間から4週間が目安です。

戻す条件も先に決めておきます。1週間のうちに人が手直しした件数が決めた数を超えたら、1つ前の段階に戻す。この条件を書いておかないと、問題が起きても誰も止められません。止める権限を誰が持つかも、同じ紙に書いておきます。

決裁者に出す資料は3枚で足ります。1枚目が題材の内訳と点数、2枚目が繰り返したときの最低値と1件あたりの費用、3枚目が外れたときの気づき方と戻し方。この3枚がそろっていれば、判断に必要な材料は出そろっています。

発注先に確かめる項目

自社で組まず、外部に発注する場合も、評価の設計は自社で持ちます。発注先に丸ごと預けると、都合の良い題材で高い点数が出てくるだけになります。提案を受ける段階で確かめる項目は次のとおりです。

• 評価に使った題材を、そのまま見せてもらえるか。件数と型の内訳が出るか
• 題材にこちらの実データを混ぜられるか。混ぜた後にもう一度測ってもらえるか
• 答えの正誤だけでなく、通り道と1件あたりの費用も測っているか
• 同じ題材を何回繰り返したか。平均ではなく最も悪い回の数字が出るか
• 採点は人か、採点役のAIか。AIなら人の判定とどれだけ一致したか
• 迷ったときに止まる動きを、実際に見せてもらえるか
• 本番で失敗した件を、題材へ追加する仕組みが契約に入っているか
• 納品後、こちらの担当者だけで同じ評価を再実行できるか

この一覧のうち、最も差が出るのは2番目と5番目です。自社の実データを混ぜた途端に点数が落ちる提案は珍しくありません。提案時の点数は、その提案書のための題材で出た点数にすぎません。混ぜた後の数字を出せるかどうかで、実力はほぼ判別できます。

確かめ方にも順番があります。次の3つを提案の段階で試しておくと、後の運用が読めます。

1. こちらの実データを10件渡して測り直してもらう：点数の落ち幅と、落ちた理由の説明の質を見る
2. 正解が決まらない事例を3件混ぜる：止まるのか、勝手に決めるのかがその場で分かる
3. 同じ題材を5回走らせてもらう：ばらつきの幅を見る。平均だけを返してきたら測っていない

評価の結果を出せない発注先は、直し方を決められない発注先でもあります。作る力の話をする前に、ここを確かめる価値があります。

うまくいかない評価に共通する形

評価の取り組みが空回りするときは、たいてい形が決まっています。実際によく見かけるものを並べます。1つでも当てはまるなら、点数を上げる前にそちらを直したほうが早いです。

• 点数を1つだけ出す：総合点にまとめてしまい、どこを直せばよいか分からなくなる
• 題材を作る人と、仕組みを作る人が同じ：解ける課題だけが題材になり、点数が実力を表さなくなる
• 採点をすべて採点役のAIに任せる：基準の文章がないまま任せるので、何を測っているか誰も説明できない
• 1回走らせた結果で判断する：ばらつきの幅を知らないまま本番に出し、稼働後に手直しが積み上がる
• 費用を測らない：点数だけが上がり、1件あたりの費用が業務の価値を超えていることに気づかない
• 本番で起きた失敗を題材に戻さない：同じ失敗が何度でも起きる。題材集が最初のまま増えない
• 合格したら評価をやめる：業務ルールが変われば正解も変わるのに、古い正解で測り続ける

最後の項目は特に多く見かけます。評価は導入前の関門ではなく、動いている間ずっと回すものです。題材集を毎月10件ずつ足すと決めておくだけで、この形はほぼ避けられます。足す10件は、その月に人が手直しした件から選びます。

ミニ用語解説

この分野の言葉は英語由来のものが多く、社内で共有するときに詰まります。会議で使う言い方に置き換えておくと、情報システムの担当と話すときにも、決裁者に説明するときにも通ります。

言葉がそろうと、依頼の仕方も変わります。「精度はどのくらいですか」では、何が返ってくるか分かりません。「この題材集で、5回繰り返したときの最低値と、1件あたりの費用を出してください」と言えば、必要な数字だけが返ってきます。問いの精度が、そのまま判断の精度になります。

まとめ

AIエージェントの評価は、最後に出てきた答えの答え合わせではありません。同じ答えでも通り道が違えば、費用も、件数が増えたときの止まりやすさも変わります。測る対象は、成果物の質・途中の判断・道具の使い方・所要時間と費用・止め時の判断の5つに分け、数えれば決まる項目を先に固めてから、判断の要る項目にだけ人の時間を使います。題材は、過去の実務・過去の失敗・境目の事例の3つから集め、1つの型につき10件から20件。素直な事例ばかりを集めると、点数は高く出ても読めない点数になります。採点は、まず人が20件から30件を採点して基準の文章を作り、それを採点役のAIに写し取らせる順番です。大規模な検証では、単純な一致率が偶然補正後の指標より平均38.6ポイント高く出ること、提示順だけで判定が変わる度合いにモデル間で96倍の開きがあることが報告されています。再現性が高いことと、判定が正しいことは別です。合格線は段階ごとに置き、本番の可否は1回の点数ではなく繰り返したときの最低値で決めます。そして決裁に必要なのは点数ではなく、外れた1件に誰がいつ気づき、何分で直せ、その間に社外へ出るかという3つの答えです。まずは、いま試している処理について過去の実務から10件だけ題材を作り、人が採点してみてください。採点の途中で言葉に詰まった箇所が、そのまま最初に決めるべき基準です。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。