AIの合否を決める評価データの4条件｜測る物差しを先に作る

「評価用のデータを作れと言われたのですが、何件くらい用意すればよいのか、誰に聞いても『多いほうがよい』としか返ってきません」「新しい版に切り替えたら現場から苦情が来ました。前より良くなったはずだと説明したら、何を根拠にそう言えるのかと聞かれて、答えられませんでした」。——この2つは、導入から半年ほど経った会社で必ず重なって出てきます。前者はこれから測る人の悩みで、後者は測らずに切り替えた後の話ですが、困っている中身は同じです。出してよいかどうかを、誰の、どの物差しで決めたのかが残っていない。評価データは、AIの成績表を作るための事務作業ではありません。本当は、出してよいかどうかの線を人が先に決めて、後から取り出せる形にしておく作業です。線を引く作業だと分かると、件数を何件にするかという問いは、技術ではなく運用の問いとして立て直せます。この記事では、その問題集が満たすべき4つの条件と、誰がどこまで採点するのかの決め方を整理します。

「良さそうだから出す」で決めた判断は、次の版で説明できない

社内で試した仕組みを本番に出すかどうかを決める場面で、いちばん多いのは、担当者が20問ほど自分で打ち込んでみて感触で判断するやり方です。悪い方法ではありません。手早く、費用もかかりません。ただ、この決め方には1つだけ後から効いてくる弱点があります。半年後に同じ判断をもう一度できないことです。打ち込んだ20問は残っていませんし、残っていても、そのときの答えがどうだったかは誰も記録していません。

困るのは版が上がったときです。土台になるモデルが新しくなった、参照させる資料を入れ替えた、指示文を書き直した。どれも答えの出方が変わります。このとき「前より良くなったのか」と聞かれて、手元に材料がない。前の版の成績が残っていないので、比較のしようがないからです。仕方なくまた20問打ち込み、前回とは違う20問を、違う担当者が、違う感触で判断することになります。これを繰り返している限り、良くなったのか悪くなったのかは永久に分かりません。

評価データは、この繰り返しを止めるために作ります。答えが分かっている問いを、決まった件数だけ手元に置いておく。版が変わるたびに同じ問いを流し、同じ基準で採点する。そうすれば、良くなったか悪くなったかが数で出ます。作っているのは技術的な資産ではなく、判断の記録です。この見方に立つと、後から出てくる細かい設計の問いは、ほとんど自動的に答えが決まります。

評価データとは、答えが分かっている問題集のこと

言葉の中身をそろえておきます。評価データとは、入力と、その入力に対して期待される答え、あるいは答えが満たすべき条件を組にして集めたものです。試験の問題と模範解答をまとめた冊子だと思えば、実態はほぼ合っています。社内ではゴールデンデータセット、評価セット、正解データなど呼び方が揺れますが、指しているものは同じで、揺れているのは呼び方だけです。会議の冒頭でどれを使うか決めておくと、それだけで話が早くなります。

大事なのは「答えが分かっている」の中身が2種類あることです。1つは答えそのものが決まっている問いで、受付番号はどれか、この問い合わせはどの分類か、この条件で解約できるかどうか、といった形です。もう1つは答えが満たすべき条件が決まっている問いで、解約の手順を段取りに分けて説明し、違約金の有無に触れること、といった形になります。答えが1つに決まらない問いを捨てる必要はなく、採点の仕方を変えればよい、というのが実務の要点です。

置き場所と持ち主も、最初に決めます。評価データは開発の途中で作られることが多く、作った人の手元のファイルに残りがちです。半年後、1年後に使う前提なら、保管するのは業務側の責任者です。中身を決めるのも、その業務を毎日やっている人にします。作る側だけで決めると、答えの形が整っているかどうかは見えても、業務として正しいかどうかが抜けます。

学習に使うデータと、合否を測るデータを混ぜてはいけない

4つの条件に入る前に、ここだけは先に置きます。同じ「データを集める」という言い方をしますが、学習に使うデータと評価に使うデータは役割が正反対です。学習用は覚えさせるために集め、評価用は覚えていないことを確かめるために集めます。覚えさせた問いをそのまま試験に出せば、点は必ず上がります。上がった点は、現場で同じだけ良くなったことを意味しません。

実務では、混ざる経路が決まっています。参照させる資料を整える作業と、評価用の問いを作る作業を同じ人が同時にやると、資料に書いてある記述をそのまま問いにしてしまいます。もう1つは、指示文を直すときに評価データの落ちた件だけを見ながら直し、その件が通るように文言を足していく経路です。直している相手が仕組みなのか問題集なのかが、途中から分からなくなる。どちらも悪意なく起きます。

データの呼び方	何のために集めるか	中身を決めるのは誰か	版が上がったときの扱い
学習や調整に使うデータ	答え方を覚えさせる	作る側	作り直すことがある
合否を測る評価データ	出してよいかを判断する	業務側の責任者	そのまま使い、前の版と比べる
本番で流れた記録	実際に何が起きたかを見る	運用側	ためて次の評価データの材料にする

分け方の手順は単純です。同じ元データ、たとえば過去の問い合わせから両方を作る場合でも、どの件をどちらに入れるかを先に分けてから、中身を作ります。中身を作ってから振り分けると、書きやすかった件が評価側に寄ります。分けた記録も残します。半年後に「この件は学習に使ったのか」と聞かれて答えられないと、その回の成績は使えません。

条件1 何件あれば足りるのか。差が見える下限と、回せる上限

件数は「多いほどよい」ではなく、2つの制約に挟まれた範囲で決まります。下限は、差が見えることです。100件あれば1件の違いが1%の差として出ます。10件だと1件で10%動くので、たまたま1問できた、できなかっただけで合否がひっくり返ります。件数が少なすぎると、測っているのは出来ではなく運になる、と考えて差し支えありません。

上限は、回せることです。評価データは1回作って終わりではなく、版が変わるたびに流して、差が出た件を人が読みます。読む時間が確保できない件数は、作っても使われなくなります。1件を読んで判定するのに1分かかるとして、300件のうち差が出た2割を読むだけで1時間。月に1回なら回りますが、毎週なら現実的ではありません。先に読む人の時間を数えてから、件数を決めます。

外の数字も目安になります。評価のやり方を比べた公開実験では、要約の良し悪しを測るデータで306件、答えに含まれる誤りを見つけるデータで300件という規模が使われていました。研究の都合で選ばれた件数なので自社にそのまま当てはめるものではありませんが、数千件ではなく数百件の桁で手法の優劣が見えているという事実は、最初の件数を決めるときの支えになります。実務では100件から始め、差が出た件を全部読み切れたら200件、300件と増やします。増やすのは読み切れたときだけです。

条件2 現場の問いに似ているか。作文した問いでは落ちない

2つ目の条件は、問いの出どころです。担当者が机の上で考えた問いは、きれいな日本語で、用件が1つで、前提が短くなります。現場から来る問いは、主語がなく、用件が2つ混ざり、途中で条件が変わります。きれいな問いだけで測ると、どの版も同じように合格します。差が出ないのは仕組みが優秀だからではなく、問題集が易しすぎるからです。

出どころは実際の記録を土台にします。直近1か月の問い合わせや依頼から無作為に抜くのが基本で、無作為であることが効きます。担当者に「代表的なものを選んで」と頼むと、説明しやすい問い、答えやすい問いばかりが集まります。抜き方は、日付でも受付番号でも構いませんが、選ぶ人の判断が入らない規則にします。

実データだけでは足りない形も3つあります。答えが存在しない問い、社外に出せない情報を聞いてくる問い、前提が数百字あって後半に条件がある問いです。断る力、情報を出さない判断、長い前提の読み落としは、この3つを混ぜないと測れません。それぞれ1割ほど入れておきます。製品開発の現場から公開されている解説でも、開発に携わる人たちだけで評価の観点を網羅し、データを作り切ることは基本的に不可能で、実際に流れた記録を継続的に取り込むことが重要だと指摘されています。

条件3 正解が1つに決まるか。決まらない問いは観点で採点する

3つ目は、答えの形です。番号、金額、分類、可否のように1つに決まる問いは、文字が一致するかどうかで機械が採点できます。説明、要約、下書きのように決まらない問いは、模範解答を1つ書いて突き合わせると、言い方が違うだけで不合格になります。一致しているかではなく、必要な要素が入っているかで採点する形に切り替えます。

その形が採点表です。1つの問いに対して、満たすべき条件を3つから5つ並べ、それぞれについて満たす、満たさないを見ます。解約の説明であれば、違約金の有無に触れている、手続きの窓口を書いている、期限を書いている、社外で通じない社内の呼び方を使っていない、といった具合です。満たした数を合計点にするのではなく、落としてはいけない条件を1つだけ決めておきます。合計点にすると、大事な1つを落としても他で埋め合わせられてしまいます。

ほしい答えと、ほしくない答えを分けて書くのも有効です。公開されている解説では、こういう答えがほしいという要求と、こういう答えは困るという要求を分けて持ち、0から1の点と、満たすか満たさないかの真偽を組み合わせる整理が示されています。実務で効くのは後者です。点は高いのに使えない答えは、たいてい「困る要素が入っている」ことで起きます。断定しすぎている、社内限りの言い回しが混ざっている、聞かれていない提案が付いている。この種の不合格は、点の高さでは捕まりません。

条件4 使い回して劣化しないか。答えが漏れる、覚えられる

4つ目は時間の条件です。同じ問題集を1年使い続けると、2つの経路で効かなくなります。1つは人の側です。落ちた問いを見ながら指示文を直していくので、その問題集に合わせた調整が積み上がります。問題集にだけ強い仕組みができあがるわけです。試験の点は上がり続けるのに、現場の苦情は減りません。

もう1つは仕組みの側です。評価用の問いと答えを社内の共有フォルダに置くと、参照の仕組みがその資料を拾うようになります。すると、答えを見ながら答えているのと同じ状態になります。評価データは、参照される場所に置かない。これは運用規則として書いておく価値があります。置き場所を分けるだけで防げるのに、気づいたときには数か月分の成績が使えなくなっています。

入れ替えは、全部やり直すのではなく2つに分けます。動かさない固定の部分と、毎回差し替える部分です。目安は固定が7割、入れ替えが3割、周期は四半期ごと。固定の部分があるから過去と比べられ、入れ替えの部分があるから覚えられません。そして入れ替えた回は、前の版の成績も新しい問題集で取り直します。取り直さないと、下がったのがモデルのせいなのか問題集が変わったせいなのか、切り分けられなくなります。

誰が採点するのか。AIに合否を判定させたときに起きること

件数が3桁になると、全件を人が読むのは現実的ではありません。そこで、答えと採点の観点を渡してAIに点と理由を出させるやり方が使われます。速く、安く、24時間動きます。ただし人の判断とずれる方向が、あらかじめ分かっています。ずれ方が分かっているということは、対処もできるということです。

代表的な偏りは3つです。1つ目は並べる順です。2つの答えを並べて比べさせると、中身ではなく提示された順番で判定が変わります。2つ目は長さで、中身が同じでも長く書かれた答えを高く評価します。3つ目は身内びいきで、自分と同じ系統のモデルが作った答えを高く評価します。どれもたまにずれるのではなく、同じ向きに偏るので、件数を増やして平均を取っても消えません。

評価のさせ方にも型があります。単体に点を付ける、2つを並べて比べる、複数を順位付けする、の3つです。相対的な比較のほうが絶対的な点付けより判断しやすいとされますが、比べる形にすると今度は並べる順の偏りが効いてきます。対処は単純で、順番を入れ替えて2回流し、判定が変わった件は人が読む。判定が変わること自体が、その件が境目にあるという信号になります。

少ない人手の採点は、例示ではなく採点基準の校正に使う

人手を全件に使えないなら、どこに少しだけ使うかが問題になります。ここには実測があります。要約の良し悪しを測る306件と、答えに含まれる誤りを見つける300件のデータを使い、人が付けた正解を0件、10件、30件、100件と変えながら、6つのやり方を比べた報告です。同じ人手の量でも、使い方によって結果が変わりました。

最も効いたのは、人の正解を例として数件添えるやり方ではなく、判定が食い違った事例を見せて採点基準の文章そのものを直すやり方でした。文章の筋の通り方を見る観点では、人の正解10件で、偶然の一致を差し引いた一致の度合いが0.438に達しています。専門家同士の一致が0.544ですから、その約8割の水準です。設問との関連を見る観点では、30件で0.514となり、専門家同士の0.504と同等の水準に届きました。人手は例示に使うのではなく、基準の書き直しに使うというのが、この比較から読み取れる要点です。

逆の示唆もあります。答えに誤りが含まれるかどうかを見るような、比較的はっきりした課題では、人が丁寧に基準を書いた時点でほぼ決まり、正解データを足しても大きくは伸びませんでした。また同じ報告には、実データを見ずに作り込んだ採点基準が、点の偏りを作ったという指摘もあります。基準は机の上で完成させず、10件から30件の食い違いを見てから直す。手順としてはこれだけで、費用もほとんどかかりません。

人が確認する範囲を先に決める。3つの線の引き方

AIに採点を任せる範囲は、件数ではなく性質で切ります。公開されている設計の解説でも、人が確認する対象を、新しく足したケース、内容を変えたケース、一定期間だれも確認していないケースの3つに置く形が示されています。加えて、同じ条件で以前は通っていたケースが落ちたことを検知する仕組みを別に持つ、という整理です。

3つ目の「以前は通っていたのに落ちた」が、実務ではいちばん効きます。全体の点が保たれたまま、前は通っていた問いだけが入れ替わって落ちることがあるためです。平均を見ていると気づけません。合格率の上下ではなく、通った件と落ちた件の入れ替わりを見る。表にすると、前回合格で今回不合格の件がいくつあるか、という1行です。

線は、書き方まで決めておきます。「重要なものは人が見る」では回りません。誰が、いつ、何件まで読むかの形にします。たとえば、公開前は業務側の担当が差の出た件を全部読み、読む件数が50件を超えたらその回は公開しない。月次では新しく足した分と入れ替わった分だけを読む。上限を超えたら公開しないという書き方にすると、読む時間が先に確保されます。総務省と経済産業省が令和7年3月28日に公表したAI事業者ガイドラインの第1.1版でも、モデルの入出力と判断根拠を定期的に評価し、偏りの発生を監視することが挙げられています。定期的にという言葉を、自社の言葉で日付と件数に置き換える作業だと考えると分かりやすくなります。

最初の1回をどう作るか

ここまでの条件を、最初の1回の手順に落とします。全部を一度にそろえる必要はありません。100件の問題集と、落としてはいけない条件が書かれた採点表が手元にあれば、次の版が来たときに比較ができます。それが最初の到達点です。

この5つを回すと、だいたい2週間から3週間かかります。長く感じますが、2回目からは1日で終わります。作っているのは問題集そのものより、業務側が「何を落としてはいけないか」を言葉にする習慣のほうだからです。

版が上がったときに測り直す段取り

測り直す引き金は、先に決めて書いておきます。4つあります。土台になるモデルが変わったとき、指示文を変えたとき、参照させる資料を入れ替えたとき、そして何も変えていないのに3か月が過ぎたときです。4つ目が抜けている会社がほとんどです。提供元の側で静かに更新が入り、こちらは何もしていないのに答え方が変わることがあるためです。

手順自体は同じです。同じ問題集を、同じ採点基準で流し、前回の結果と並べます。見るのは合格率の数字ではなく、入れ替わった件です。新しく落ちた件を読めば、次に何を直すかが決まるので、この読み合わせが改善の起点になります。逆に、合格率だけを会議に出すと、上がった下がったの議論で終わって、誰も次の作業に進めません。

記録は1枚に収めます。いつ測ったか、どの版か、何件中いくつが通ったか、人が読んだのは何件か、落ちた件はどの型に寄っていたか。この5項目です。半年後に説明を求められたときに出せるのは、この1枚だけです。詳細な出力は別に保存しておけばよく、会議に出すのは1枚で足ります。

合格の線は、数字ではなく業務のほうから決める

何割通れば出してよいのか。これは技術側では決められません。誤りが出たときに、誰がどれだけ困るかで決まるからです。社内向けの下書きを作る用途と、社外のお客様に出る回答を作る用途では、同じ8割でも意味がまったく違います。線を引くのは、その誤りの責任を負う部署です。

書き方には型があります。全体の合格率を1本引くのではなく、二段にします。金額や期限のように誤ると取り返しがつかない問いは別枠にして1件も落とさない、それ以外は8割、という形です。全部を同じ厳しさで測ると、どこにも合格できない線になるため、この二段が現実的です。別枠に入れる問いは多くても2割程度に抑えます。

線を引く人と、仕組みを作る人は分けます。作った本人が線を引くと、届く位置に線が動きます。悪意ではなく、作った側には「ここは調整すれば直る」という見通しがあるためです。見通しを判断に混ぜないために、線は先に、別の人が書きます。そして、線を下げるときは理由を書いて記録に残す規則にします。下げること自体は問題ではありません。記録なく下がっていくのが問題です。

よくある質問

評価データは何件から始めればよいですか

100件から始めて構いません。1件の違いが1%として見えるので、版の比較には足ります。増やすのは、差が出た件を全部読み切れた回の次からです。読めていないのに増やすと、数字だけが並んで誰も中身を見ない状態になります。

AIに採点させると、人の採点とどれくらい合いますか

課題によって大きく違うので、自社で測るしかありません。参考として、公開されている比較では、判定が食い違った事例を見せて採点基準を直す手法をとった場合に、人の正解10件から30件で、専門家同士の一致に近い水準まで届いた観点がありました。ただしこれは別の題材での結果です。自社で合うかどうかは、30件ほど人が採点して突き合わせてみれば分かります。

正解を書ける人が社内にいません

正解の文章を書ける人がいなくても、落としてはいけない条件なら書けることがほとんどです。正解を1つ書くのは難しくても、「違約金の有無に触れていなければ不合格」なら判断できます。書けないのは正解であって、条件ではない、という切り分けをすると前に進みます。

評価で合格したのに、現場から苦情が来ました

問題集と現場の問いのずれを疑います。直近1週間の実際の入力を100件並べ、同じ形の問いが問題集に何件入っているかを数えてください。たいていは、現場で面倒な型の問いが問題集にほとんど入っていません。次に疑うのは採点基準で、合計点で採点していると、大事な1つを落としても合格が出ます。

公開されている順位表の点数は使えますか

候補を絞る段階では使えます。合否の判断には使えません。別の題材での結果であって、自社の問い合わせで同じ差が出る保証がないためです。順位表で上位3つに絞り、その3つを自社の問題集で測る、という順番にすると無駄がありません。

つまずき方は決まっている。作る前に外しておく

評価データをめぐる失敗は、ほとんど同じ形で起きます。どれも作っている最中ではなく、半年後に効いてくるものです。

• 学習や調整に使った問いを、そのまま評価にも使う。点は必ず上がるが、現場で同じだけ良くなったことにはならない。どの件をどちらに入れたかを、中身を作る前に分けて記録する
• 評価用の問いと答えを、参照の対象になっているフォルダに置く。答えを見ながら答えている状態になり、その間の成績が全部使えなくなる。置き場所は最初から分ける
• 落ちた件を見ながら指示文を直し続ける。問題集にだけ強い仕組みができあがり、試験の点は上がるのに苦情は減らない。四半期ごとに3割を入れ替える
• 合計点で合否を出す。大事な1つを落としても他で埋め合わせられてしまう。落としてはいけない条件を1つ決め、それだけは別枠で見る
• きれいに書き直した問いだけで測る。どの版も同じように合格して差が出ない。実際の記録から無作為に抜き、答えが存在しない問いを1割混ぜる
• 仕組みを作った人が合格の線を引く。届く位置に線が動く。線を引くのは、その誤りの責任を負う部署にする

• 評価のやり方を比べた実測値は、要約の良し悪しを測る306件と、答えに含まれる誤りを見つける300件のデータを用いた公開の比較実験の記載です。一致の度合いは偶然の一致を差し引いた指標で、人の正解10件のとき0.438、専門家同士の一致は0.544、別の観点では30件で0.514、専門家同士は0.504と報告されています。これは公開されている題材での結果であり、自社の業務で同じ水準になることを示すものではありません
• 採点に用いるモデルの偏り、および人が確認する対象の置き方は、公開されている技術解説の記載に基づいています。二層構成の割合や具体的な件数は解説ごとに前提が異なるため、この記事では割合を示していません
• AIモデルの入出力と判断根拠を定期的に評価し、偏りの発生を監視することについては、総務省と経済産業省が令和7年3月28日に公表したAI事業者ガイドライン第1.1版の概要資料で確認しています。条項の番号までは特定していないため、実際の適用にあたっては本文を確認してください
• この記事は、出してよいかを判断するための評価データの作り方と使い方を扱っています。学習に使うデータへの印の付け方や外注の取り決め、検証用に人工のデータを作る方法、社内資料を参照させて答えさせる仕組みの作り方は、いずれも別の作業として整理する必要があります

まとめ

評価データは、AIの成績表を作るための事務作業ではありません。出してよいかどうかの線を人が先に決めて、後から取り出せる形に残す作業です。担当者が20問打ち込んで感触で決めるやり方が悪いわけではなく、半年後に同じ判断をもう一度できないところが弱点です。版が上がったときに前より良くなったのかと問われて、比べる材料が手元にない。この繰り返しを止めるために、答えが分かっている問いを決まった件数だけ持っておきます。最初に置くべき区別は、学習に使うデータと合否を測るデータを混ぜないことです。覚えさせた問いを試験に出せば点は必ず上がりますが、現場が同じだけ良くなったことにはなりません。混ざる経路は決まっていて、資料を整える人が同じ手で問いを作る場合と、落ちた件だけを見ながら指示文を直す場合の2つです。どの件をどちらに入れるかを、中身を作る前に分けて記録します。条件は4つあります。1つ目の件数は、差が見える下限と読み切れる上限に挟まれた範囲で決めます。100件あれば1件の違いが1%として見え、公開された比較実験でも300件前後の規模で手法の優劣が見えています。増やすのは、差が出た件を全部読み切れた回の次からです。2つ目は現場の問いとの近さで、実際の記録から無作為に抜くのが基本です。代表的なものを選んでくださいと頼むと、答えやすい問いばかりが集まります。答えが存在しない問い、社外に出せない情報を聞く問い、前提が長い問いは記録からは拾えないので、1割ずつ意図的に混ぜます。3つ目は正解が1つに決まるかどうかで、決まらない問いを捨てる必要はありません。模範解答との一致ではなく、満たすべき条件を3つから5つ並べて見ます。合計点にせず、落としてはいけない条件を1つだけ決めておくのが要点です。点が高いのに使えない答えは、たいてい困る要素が入っていることで起きるので、ほしい答えとほしくない答えを分けて書きます。4つ目は時間の条件です。同じ問題集を使い続けると、問題集にだけ強い仕組みができあがり、評価用の答えが参照される場所に置かれていれば答えを見ながら答える状態になります。固定7割、入れ替え3割を四半期ごとに回し、入れ替えた回は前の版の成績も取り直します。採点を誰がするかも、条件と同じ重さで決めます。AIに採点させると、並べた順、答えの長さ、同じ系統かどうかで同じ向きに偏るので、件数を増やしても消えません。順番を入れ替えて2回流し、判定が変わった件を人が読むだけで、境目にある件が浮かび上がります。少ない人手は、例を数件添えるのではなく、食い違った事例を見せて採点基準の文章を直すほうに使います。公開された比較では、10件から30件の人手で専門家同士の一致に近い水準まで届いた観点がありました。人が確認する範囲は、新しく足したケース、内容を変えたケース、長く確認していないケース、そして以前は通っていたのに落ちたケースの4つに切ります。合格率の上下ではなく、通った件と落ちた件の入れ替わりを見るのが実務の勘所です。合格の線は技術側では決められません。誤ったときに誰がどれだけ困るかで決まるので、線を引くのはその責任を負う部署にします。金額や期限のように取り返しのつかない問いは別枠で1件も落とさない、それ以外は8割、という二段の書き方が現実的です。作る側が線を引くと届く位置に線が動くので、線を引く人と作る人は分けます。次の一手は、製品を比べることではありません。直近1か月の記録から100件を無作為に抜き、そのうち10件について、落としてはいけない条件を業務側に3つずつ書いてもらう。それだけで、これまで社内で暗黙だった合格の線が、初めて文章になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。