AIの答えをAIに採点させる｜評価を仕組みで回す

AIの答えをAIに採点させる方法を、まとまった形で最初に検証した論文があります。80問の質問に対する6つのモデルの回答を用意し、58人の専門的な評価者と機械の判定役の双方に採点させ、約3千票を集めた実験です。同点票を除いた集計では、機械の判定と人の判定の一致は85%に達しました。同じ条件で測った人どうしの一致は81%です。採点役としての機械は、人の平均的な感覚から特別に外れているわけではありません。それでも、現場からはこの声が絶えません。「出力の質を毎回人が読んで確かめているが、件数が増えて追いつかない」「指示文を直したら良くなった気がするが、良くなったと言い切れる根拠がない」。——AIを業務に組み込んだ会社が、半年ほど経つと必ず突き当たる壁です。これは採点の道具が足りないという話ではありません。本当は、何を良いとするのかを文章に落としていないから、人が読んでも機械に採点させても結果が揺れるのです。この記事では、採点役としてのAIに測定されている癖から、基準の固め方、抜き取りの範囲、結果の残し方までを、決める・回す・点検する・続けるの順で整理します。

人が全部読む運用は、量が増えた時点で止まる

生成AIを業務に入れた直後は、出てきた文章を担当者が全部読んでいます。件数が少ないうちは、これで十分に回ります。止まるのは、使う人が増えて1日の件数が二桁から三桁になったときです。1件を読んで良し悪しを判断するのに3分かかるとすれば、200件で10時間になります。読む作業だけで1人分の1日が消える計算です。ここで、読むのをやめるか、抜き取りに切り替えるかの分かれ道が来ます。

ただし、量だけが問題なのではありません。人が全部読む運用には、量とは別に2つの穴があります。1つは、読む人によって良し悪しの線が違うこと。もう1つは、変更の前と後を、同じ物差しで比べられないことです。指示文を直した翌日に「前より良くなった気がする」と言えても、何がどれだけ良くなったのかは示せません。良くなった気がするだけで進めた変更は、別の場所を壊していても気づけないまま積み上がります。

だから必要なのは、読む人を増やすことでも、読むのをやめることでもありません。良し悪しの線を先に文章にして、その線に沿って毎回同じように採点する仕組みです。採点する役をAIに任せるかどうかは、その次に来る話にすぎません。線が言葉になっていなければ、人が採点しても機械が採点しても、結果は同じように揺れます。逆に線が言葉になっていれば、採点する主体が誰であっても比較が成立します。

採点をAIに任せると、人とどれくらい合うのか

数字から入ります。冒頭で挙げた実験は、80問の質問に対して6つのモデルに回答させ、その回答を58人の専門的な評価者と機械の判定役の両方に採点させたものです。集まった票は約3千。同点票を除いて集計すると、機械の判定と人の判定の一致は85%でした。同じ集計方法で測った人どうしの一致は81%です。機械と人の一致のほうが、人どうしの一致より高いという結果になっています。

ただし、この85%だけを見て導入を決めると外します。同じ論文には、実務にとってもっと重い発見があります。比べる2つの答えの実力差が大きいほど一致率が上がり、差が小さい組み合わせでは70%程度まで落ちる、というものです。差が大きい組み合わせでは、ほぼ100%まで上がります。つまり採点役のAIが得意なのは明らかに悪いものを見つけることであって、僅差のどちらが良いかを決めることではありません。

使い方の線がここで引けます。選別には使い、順位付けには使わない。基準を明らかに外した出力を拾い上げる用途では、人とほぼ同じ結論に着きます。一方、良い案ともう少し良い案のどちらを採用するかを決めさせると、判定は安定しません。なお同じ論文では、人が機械と違う選択をした場面で機械が書いた理由を見せたところ、75%の場面で人がその判定を妥当だと認め、34%の場面で自分の選択を変えたことも報告されています。決めさせるのではなく、判断の材料として読ませる使い方には、それだけの説得力があるということです。

採点のさせ方は3通りある

採点のさせ方は、大きく3つに分かれます。同じ論文が整理したもので、向く場面と弱点がそれぞれ違います。どれを選ぶかで、後の運用の重さが変わります。最初にここを決めておかないと、途中で作り直すことになります。

採点のさせ方	どう頼むか	向いている場面	弱点
1つの答えに点を付ける	答えを1つだけ見せて、基準に沿った点を付けさせる	日々の出力を大量にふるいにかける。前回との差を追う	点の絶対値が動きやすく、採点役を変えると水準がずれる
2つ並べて選ばせる	2つの答えを並べて見せ、どちらが良いかを選ばせる	指示文の案を比べる。変更の前と後を直接ぶつける	比べる対象が増えると組み合わせが急に増える。並べた順番で結果が動く
お手本を添えて採点させる	先に正解や見本を渡したうえで採点させる	答えが1つに決まる作業。計算、抽出、決まった形への変換	見本を用意する手間がかかる。正解が1つに決まらない仕事には使えない

実務では、この3つを場面で使い分けます。日々の運用は1つの答えへの採点、変更の可否を決めるときは2つ並べての比較、事実の正しさが問われる部分だけお手本を添える。この組み合わせが、いちばん扱いやすい形です。最初から3つ全部を作ろうとすると、立ち上がる前に力尽きます。

選ぶときの目安を1つ挙げます。その採点結果を見て、誰が何を決めるのかを先に言葉にすることです。決めるのが「出してよいかどうか」なら、1つの答えへの採点で足ります。決めるのが「案1と案2のどちらを採用するか」なら、2つ並べる形が要ります。決めることが先で、採点のさせ方は後です。逆の順で作ると、点数だけが溜まって何も決まらない状態になります。

採点役のAIに測られている3つの癖

任せる前に、採点役としてのAIが持つ癖を押さえます。前述の論文は3つを名指しで測定しています。いずれも、基準の文章をどれだけ丁寧に書いても消えない種類の偏りです。癖の存在を知らないまま点数を信じると、直すべきでない方向に出力を寄せることになります。

1つ目は並べた順番で結果が変わる癖です。ほとんど同じ内容の2つの答えを作り、順番を入れ替えて同じ判定役に2回聞く、という実験が行われました。入れ替えても同じ結論を出した割合は、3つの判定役でそれぞれ23.8%、46.2%、65.0%です。最も安定していた判定役でも、3回に1回は順番だけで結論がひっくり返りました。偏る向きは先に置いた答えのほうで、いちばん偏った判定役は75.0%の場面で先に出した答えを選んでいます。

2つ目は長い答えを高く付ける癖です。同じ論文では、23件の答えについて、新しい情報を一切足さずに言い換えただけの項目を先頭に挿し込み、水増しした答えを作りました。この水増し版を「元より良い」と判定した割合は、判定役によって91.3%、91.3%、8.7%でした。中身を増やさず長くしただけで、9割の場面で高く評価した判定役があったことになります。基準に文字数の下限を書くと、この癖と手を組むことになるので避けます。

3つ目は、自分の書いた答えを高く付ける癖です。ある判定役は自分のモデルの勝率を10%、別の判定役は25%高く付けていました。ただし、この点については論文自身が留保を置いています。数字だけを切り出して社内資料に載せると、後で足をすくわれる種類の項目です。

• 論文は「限られたデータと小さな差のため、モデルが自己優遇の偏りを示すかどうかを本研究では判定できない」という趣旨の留保を明記している
• 自分以外のモデルを高く付けた判定役もあり、自分を高く付けなかった判定役もあった
• 実務では、確定した事実としてではなく、作る役と採点する役を分けておく理由の1つとして扱えば足りる

癖を打ち消す4つの当て方

癖があると分かっているなら、打ち消し方も決まります。同じ論文が検証している方法が3つ、実務側で足せるものが1つあります。効果と費用がどちらも判明しているので、入れる順番まで決められます。

1. 順番を入れ替えて2回聞く……2つ並べて選ばせるときは、順番を入れ替えて2回呼ぶ。両方の並びで同じ答えが選ばれたときだけ勝ちとし、食い違ったら同点として扱う。論文が採用している保守的な方法で、位置の癖をそのまま無効にできる
2. お手本を先に用意して添える……事実の正しさを見るときは、判定役に先に自分で解かせ、その答えを見本として添えてから採点させる。計算問題での誤判定の割合は、この形にすることで70%から15%まで下がった
3. 良い判定の例を3つ先に見せる……判定の実例を先に見せると、順番を入れ替えても結論が変わらない割合が65.0%から77.5%まで上がった。ただし指示文が長くなるぶん呼び出しの費用は4倍になり、論文は「一貫性が高いことが正確さを意味するとは限らない」とも書いている
4. 作る役と採点する役を分ける……同じモデルに書かせて同じモデルに採点させない。自己優遇を避けるという理由に加え、同じ弱点を持つ者どうしではその弱点が見えないという理由のほうが大きい

4つのうち、最初に入れるのは1番目です。呼び出しが2倍になるだけで、最も大きい偏りを丸ごと消せます。2倍の呼び出しで消せる偏りを残したまま、基準の文章だけを磨いても効果は出ません。3番目は費用が4倍になるうえ、副作用の可能性が論文に明記されているため、他の3つを入れてから検討します。2番目は、事実の正誤が争点になる用途に限って入れます。

なお、これらは癖を消すだけで、採点の中身を正しくする操作ではありません。並べ替えて2回聞いても、基準の文章が曖昧なら曖昧な判定が2回返るだけです。癖の打ち消しと基準の作り込みは別の作業であり、効果が出る順序としては癖の打ち消しが先、精度を詰めるのが後になります。順序を逆にすると、基準を何度書き直しても点数が安定しない状態が続きます。

決める1：採点する対象を、1つの用途に絞る

ここから設計に入ります。最初に決めるのは基準の中身ではなく、何を採点の対象にするかです。生成AIの出力をまとめて採点しようとすると、基準が一般論に流れて使えなくなります。「分かりやすいか」「正確か」といった項目は、どの用途にも当てはまるぶん、どの用途でも判定が揺れます。

絞り方は、用途の型で行います。同じ形の出力が繰り返し出てくる場所を1つだけ選ぶのが原則です。原稿の下書き、問い合わせへの回答文、長い資料の要約、届いた文章の仕分け。この4つはいずれも出力の形が決まっているため、基準を具体的な言葉で書けます。逆に、社内の相談相手として自由に使われている部分は最初の対象にしません。入力の幅が広すぎて、同じ基準で比べる前提が成立しないからです。

対象を絞ったら、採点の単位も決めます。1件とは何か。回答文なら1通、要約なら1本、仕分けなら1件です。ここが曖昧だと、後で点数を集計したときに何の平均なのか分からなくなります。1件の定義は、後から変えると過去の点数と比べられなくなります。最初に書いて固定し、用途を増やすときは基準ごと別に立てるほうが安全です。1つの基準に用途を足していくと、どの用途にも合わない項目が増えていきます。

決める2：合否で決まる条件と、程度で決まる条件を混ぜない

基準の書き方に入ります。まず、性質の違う2種類を1つの点数にまとめないことです。1つは合否で決まる条件。禁止した表現が入っていないか、必要な項目が全部そろっているか、社名や数値が誤っていないか。当てはまるか当てはまらないかしかなく、程度の問題になりません。もう1つは程度で決まる条件。読みやすさ、話の順序、相手に合った言葉づかい。こちらには良し悪しの幅があります。

この2つを1つの点数にまとめると、運用が壊れます。禁止表現が1つ入っていても他が良ければ高い点が付いてしまい、点数を見ても出してよいかどうかが判断できなくなるからです。合否は先に判定し、落ちたものには点数を付けない。この順序にすると、点数は「出せる水準を満たしたものの中での良し悪し」だけを表すようになります。なお、合否で決まる条件は機械が形式的に検査できる形に書き直せる場合が多く、その部分は採点役に頼らず先に弾いておくほうが安く済みます。

程度のほうは、段階の数を絞ります。10段階は、人が採点しても機械が採点してもそろいません。4段階程度、たとえば「使えない」「直せば使える」「そのまま使える」「そのまま使ううえに手本にできる」のように、段の意味を状態の言葉で書くのが実務的です。段に数字だけを振ると、その数字が何を指すのかは採点のたびに解釈が変わります。段ごとに1文の説明と、その段に当たる実物を1つずつ添えておきます。

決める3：先に人が採点して、基準の文章を固める

基準の文章は、机の上では完成しません。書いた本人には自明でも、採点する側には別の意味に読める箇所が必ず残ります。だから、少数の実物を人が先に採点し、機械の採点と突き合わせて文章を直す工程を挟みます。手順は5段階です。

この工程でいちばん価値があるのは3番目ではなく2番目です。人どうしで点が合わない基準は、機械に渡しても合いません。前述の論文でも、人どうしの一致は81%であって100%ではありませんでした。人が合わせられない線を機械に守らせようとすると、調整がいつまでも終わりません。ここで見つかるのは機械の限界ではなく、自社の基準の書き方の限界です。

集める件数に厳密な根拠を持たせる必要はありません。目的は統計を取ることではなく、基準の文章の読み違いを洗い出すことだからです。件数を増やすことより、判断に迷う実物が混じっていることのほうが効きます。明らかに良いものと明らかに悪いものだけを100件集めても、境目の言葉は1つも直りません。迷った実物こそが、基準の穴が現れる場所です。

決める4：AIに採点させない範囲を、先に引く

採点の仕組みができると、判断まで任せたくなります。任せてよい部分と、任せてはいけない部分は、はっきり分かれます。任せてよいのは、決めた基準に当てはめれば答えが決まる作業です。次の5つが、その範囲に当たります。

• 基準に沿って点を付け、その点を付けた理由を基準の言葉で書き出す
• 合否で決まる条件に当てはまるかどうかを、1項目ずつ照らし合わせる
• 大量の出力の中から、基準を明らかに外しているものだけを拾い上げる
• 前回の採点結果と比べて差が大きい件を洗い出し、一覧の形にする
• 点数の低かった件について、どこを直せば上がるかの候補を下書きする

一方で、次の5つは人が決めます。いずれも、外した場合に採点の仕組みごと信用を失う種類の判断です。任せてよい範囲と同じ紙に並べて書き、両方を同時に配ります。片方だけを配ると、書かれていないほうが自動的に許可されたことになります。

• 外部に出す成果物の最終的な合否——出した後の責任を負うのは採点役ではなく自社になる
• 僅差の順位付けと、そこからの採用の決定——差が小さいほど人とずれることが実測されている
• 基準そのものが正しいかどうかの見直し——採点役は基準の内側でしか物を見られない
• 法令や契約に当てはまるかどうかの解釈——一般論が返るだけで、自社が結んだ条文は読めていない
• 点数が下がった原因の断定——原因の切り分けは実行の記録を見て人が行う作業で、点数からは決まらない

線を引いたうえで、必ず1つ足すことがあります。点数だけでなく、その点を付けた理由を毎回書かせることです。理由がなければ、その点数は後から検証できません。さらに一歩進めて、理由の文章が基準の言葉を含んでいない採点は無効とし、その件は人に回すという扱いを決めておきます。基準に書いていない観点で付けられた点は、基準を回している証拠になりません。

公的な指針も同じ方向を示しています。AIセーフティ・インスティテュートが令和8年7月7日に公表した「AIセーフティに関する評価観点ガイド」の第1.20版には、評価の一部を自動で実施できる道具があり、大規模な言語モデルを用いて評価するやり方も存在すると書かれています。そのうえで評価の観点の全てを道具によって自動で実施することは難しく、他の手法と組み合わせることが重要であるとも明記されています。全部を機械に載せる前提の設計は、公表されている考え方とも合いません。

回す1：採点を起こすきっかけを、日付以外にも置く

基準ができたら、次は回し方です。回す頻度を「毎週」のように日付だけで決めると、変更があった日に採点されないという抜けが出ます。日付による定期実行に加えて、出来事をきっかけにした実行を並べます。次の6つが起きたときに回す、という形が実務では扱いやすくなります。

• 指示文を書き換えたとき……1文字でも変えたら回す。良くしたつもりの変更が他を壊していないかは、同じ材料を通すまで分からない
• 使っているモデルの版が上がったとき……自社が何もしていなくても出力は変わる。版の変更を知らせる通知を受け取る担当を決めておく
• 参照させている資料を入れ替えたとき……検索して答えさせる形では、資料の差し替えがそのまま答えの質を動かす
• 出力の後ろに付けた処理を変えたとき……整形や置換の処理を足した場合も、最後に人が読む文章は変わっている
• 現場から同じ苦情が3件続いたとき……手元の材料に載っていない失敗が起きている合図。その実物を材料に足してから回す
• 月に一度、何も変えていない日にも回す……変更がないのに点数が動くなら、動いたのは採点する側か、その外側の環境になる

6つのうち抜けやすいのは2番目と6番目です。前者は自社の作業ではないため、変更に気づく経路を用意しないと素通りします。後者は「変えていないのだから採点しても同じ」という思い込みで省かれます。何も変えていないのに点数が動いたという事実こそ、いちばん重要な合図です。この1点のために、変更のない月の実行を残しておく価値があります。

公表されている考え方も、ここを押さえています。前述の評価観点ガイドは、評価は一度のみでなく繰り返し実施するものとしたうえで、利用の過程では学習が継続的に行われるため評価も継続的に実施することが重要である、と述べています。採点は導入のときに1回やる作業ではなく、使っている間ずっと続く作業です。導入時の受け入れ判定とは別物として、担当と予算を分けて確保します。

回す2：固定の材料と、本番からの抜き取りを2層で持つ

回すときの材料は2種類あります。1つは中身を変えない固定の材料。同じ入力の一組を毎回通し、変更の前と後を同じ土俵に載せるために使います。もう1つは本番の出力からの抜き取り。実際に現場で入力されたものを拾い、固定の材料には現れない使われ方を捕まえるために使います。どちらか片方だけでは足りません。

固定の材料だけだと、現場でしか起きない入力に気づけません。逆に抜き取りだけだと、日によって入力が違うため、点数が下がったのが出力のせいなのか、その日の入力が難しかったせいなのか判別できません。だから2層で持ちます。比べるための固定の材料と、見つけるための抜き取りという、役割の違いだと考えると分かりやすくなります。

抜き取りの範囲は、一律の割合で決めないほうが続きます。何パーセントと先に決めると、その件数を読む人が確保できずに崩れるからです。決める順番は次の4段階になります。

決める順番	見るもの	決め方	外したときに起きること
1 誰が読むか	実際に読む担当者の人数と、1日に割ける時間	人が読める上限の件数を先に置く。ここが抜き取りの上限になる	割合を先に決めたせいで人手が足りず、抜き取った分が誰にも読まれずに残る
2 何から読むか	点が低かった件、判定が同点になった件、理由が基準の言葉を使っていない件	無作為ではなくこの3種類を先に読み、余った枠を無作為で埋める	全部を無作為にすると、読む時間の大半が問題のない出力に消える
3 どこを疑うか	人が付けた点と機械が付けた点の食い違いの件数の推移	食い違いが増えたら、基準の文章か採点役の版のどちらかを疑う	点数だけを追い、採点する側がずれていることに最後まで気づかない
4 いつ足すか	抜き取りで見つかった失敗のうち、固定の材料に入っていなかったもの	見つけた実物を固定の材料に足し、材料の版を1つ上げる	固定の材料が古びて、通っているのに現場では失敗し続ける状態になる

表の2行目が要点です。抜き取りを無作為だけにすると、読む時間の大半が問題のない出力に消えます。点が低い件、判定が割れた件、理由が基準から外れている件を先に読む。この3種類は、採点の仕組みそのものの弱点が現れる場所でもあるため、出力の質と仕組みの健全さを同時に確かめられます。

回す3：点数をどこに残し、誰が見るか

採点結果は、残す場所と見る人を決めないと、数か月で誰も開かないファイルになります。残す項目は、後から「なぜこの点だったのか」をたどれる最小限に絞ります。項目を増やすほど、書かれない欄が増えていきます。

• 採点した日時と、採点した対象の版……いつの出力を採点したものかが分からないと、変更との対応が取れない
• 基準の文章の版……基準を直した後の点数と直す前の点数を混ぜて平均すると、変化そのものが見えなくなる
• 採点役のモデルと、その版……採点する側が変わったのか、される側が変わったのかを切り分けるための情報
• 点数と、その点を付けた理由の文章……理由がなければ、後から検証する手段が残らない
• 人が抜き取りで付けた点と、機械の点との差……この差の推移が、仕組みが信用できる状態かを示す指標になる

見る人と頻度も決めます。実務では2階建てにするのが扱いやすい形です。週に一度、担当者が前回との差だけを見る。点数の絶対値ではなく差を見るのは、絶対値に意味を持たせにくいためです。そのうえで月に一度、決裁する側が人と機械の食い違いの推移だけを見る。ここで見るのは出力の質そのものではなく、採点の仕組みが信用できる状態かどうかです。見る対象を分けておかないと、月次の会議が個別の出力の良し悪しの議論に流れます。

評価観点ガイドには、客観的な評価を行い、意思決定に関わる提言に独立性を持たせるために、対象となるシステムの開発や提供に直接携わらない人による評価も有効である、という趣旨が書かれています。社内でこれをそのまま実現するのは難しくても、基準を作った人と、抜き取りで確かめる人を分けるだけで、独立性は少し確保できます。作った本人が確かめると、基準の書き方の弱点は最後まで見つかりません。

点検：採点する側も、静かにずれていく

見落とされやすいのが、採点役そのものの変化です。採点される出力を何も変えていないのに、平均点が前月より上がる、あるいは下がることがあります。原因が採点する側にある場合です。判定に使っているモデルの版が上がった、同じ版でも呼び出しの設定が変わった、指示文の一部を誰かが整えた。どれも、採点される側とは無関係に点数を動かします。

この状態がやっかいなのは、点数が上がったときほど疑われないことです。下がれば原因を探しますが、上がった場合は改善が効いたと解釈されます。実際には採点役が甘くなっただけ、ということがあります。区別する方法は1つで、内容を変えていない固定の材料を毎回同じように通し、その点数の動きだけを別に記録しておくことです。この材料の点が動いたなら、動いたのは採点する側です。

対策は3つあります。1つ目は、採点役のモデルと版を記録に必ず残すこと。2つ目は、版を上げるときに新旧の両方で同じ材料を採点し、差を測ってから切り替えること。3つ目は、人が抜き取りで付けた点との一致率を、定期的に測り直すことです。一度合わせた一致率は、放っておくと下がる方向にしか動きません。合わせ直しの作業を、四半期に一度の予定として先に入れておきます。予定として置かないかぎり、この作業は誰の担当表にも載りません。

続ける：費用を見積もり、仕事の外側に足さない

採点の仕組みは、作るより回すほうに費用がかかります。見積もりを先にしておかないと、動き出してから止めることになります。かかるものは3つあり、どれも件数と頻度の掛け算で効いてきます。

1つ目は呼び出しの回数です。2つ並べて選ばせる形で位置の癖を打ち消すと、1件あたり2回呼ぶことになります。判定の実例を先に見せる方法まで足すと、指示文が長くなるぶん呼び出しの費用は4倍になると論文に記されています。固定の材料の件数と、回す頻度と、この倍率を掛け合わせたものが、月々の呼び出し回数の見積もりになります。ここを出さずに始めると、3か月目に費用の話で止まります。

2つ目は人の時間です。抜き取りで読む件数と、食い違った件を開いて理由を読む時間。3つ目は、基準の見直しにかかる時間です。基準は一度作れば終わりではなく、現場から新しい失敗が上がるたびに直します。3つのうち、見積もりから落ちやすいのは3つ目です。基準の文章を直す作業は誰の担当表にも載っていないことが多く、結果として基準だけが古いまま点数が回り続ける状態になります。

見積もりを外した仕組みは、決まった形で止まります。どれも始めた時点では正しく見えるのが共通点です。自社の計画がどれかに当てはまっていないかを、動かす前に照らし合わせます。

• 固定の材料を数百件に膨らませてから始める——1回の実行に時間と費用がかかりすぎ、変更のたびには回せなくなる
• 本番の出力を全件、採点の対象にする——費用が件数に比例して増え、増えた点数を読む人がどこにもいない
• 基準の項目を20個並べる——採点役が全部を見きれず、項目ごとの点が実質的に同じ値に張り付く
• 点数の目標値だけを決めて、抜き取りの担当を決めない——数字は上がるが、上がったのが実態か採点役の甘さかを誰も確かめない
• 仕組みを作った人が、そのまま抜き取りの確認も担当する——基準の書き方の弱点が最後まで見つからない
• 点数が下がった原因を、採点役に説明させる——理由らしい文章は返るが、根拠は実行の記録の側にしかない
• 基準の文章が完成してから始めようとする——項目の議論に時間が溶け、その間の出力は一切測られないまま流れていく

7つに共通しているのは、採点を仕事の外側に足そうとしていることです。外側に足したものは、忙しくなった順に落ちます。落ちない形にするには、指示文を直す作業と採点を回す作業を同じ手順の中に入れ、直したら回るという形にするしかありません。

止まらないための最小の形も決まっています。出発点としては、固定の材料は数十件、基準は5項目まで、回すのは変更のたびと月に一度。この規模なら費用も人の時間も見通せます。増やすのは、この形で3か月回してからです。3か月あれば、基準のどこが曖昧か、抜き取りで何が見つかるか、点数が何に反応して動くかが実物で分かります。最初に決めた基準が3か月後も同じ文章のままなら、それは完成度が高いのではなく、誰も使っていない可能性を疑う場面です。

よくある質問

採点役には、答えを作ったのと同じAIを使ってよいですか

分けるほうが安全です。前述の論文では、判定役が自分のモデルの勝率を10%あるいは25%高く付けていた例が報告されています。ただし論文自身が、限られたデータと小さな差のため自己優遇があるとは断定できない、と留保しています。より実務的な理由は別にあります。同じモデルは同じ弱点を持つため、その弱点が採点で見つかりません。事実の取り違えや、決まった言い回しへの偏りのように、作る側と採点する側が同じ癖を持つと素通りする種類の失敗があります。

点数は何段階にするのがよいですか

段の数より、段の意味を状態の言葉で書くことのほうが効きます。段を増やしても人どうしがそろわないため、4段階程度から始めて、必要になってから増やします。合否で決まる条件は点数と混ぜず、先に判定して落とします。段ごとに実物を1つ添えておくと、採点する側にも人にも解釈のぶれが出にくくなります。

固定の材料は何件から始めればよいですか

件数より中身です。判断に迷う実物が3割ほど混じっていることのほうが、件数を増やすより効きます。明らかに良いものと明らかに悪いものだけを100件集めても、境目の基準は1つも決まりません。出発点としては数十件で足り、抜き取りで新しい失敗が見つかるたびに足していく形にします。

人が抜き取りで確かめる割合は、何パーセントにすべきですか

割合から決めないでください。実際に読める人数と時間から上限の件数を出し、その枠を優先順に埋めるのが順序です。優先するのは、点が低かった件、判定が割れた件、理由が基準の言葉を使っていない件の3種類です。無作為の抜き取りは、この枠が余ったときに足します。割合を先に決めると、読み切れない件数が毎日積み上がります。

点数が基準を超えたら、そのまま公開してよいですか

点数は公開の許可ではありません。前述の論文が示しているのは、実力差が小さいほど機械と人の判定がずれるという事実です。差が小さい領域、つまりあと少しで基準を超えるあたりの判定が、いちばん当てにならない領域でもあります。基準ぎりぎりで通った出力は、点数にかかわらず人が読む対象に入れます。

まとめ

AIの出力を人が毎回読む運用は、件数が増えた時点で止まります。それでも読み続けようとすると、読む人によって線が違い、変更の前と後を同じ物差しで比べられないという別の問題が残ります。必要なのは、良し悪しの線を先に文章にして、その線に沿って毎回同じように採点する仕組みです。採点する役をAIに任せるかどうかは、その次に来る話にすぎません。

任せられる根拠と限界は、数字で分かっています。80問の質問と6つのモデル、58人の専門的な評価者を使った実験では、同点票を除いた集計で機械と人の一致が85%、人どうしの一致が81%でした。ただし同じ実験は、比べる2つの実力差が小さいほど一致が落ち、僅差では70%程度まで下がることも示しています。採点役に向いているのは、明らかに基準を外したものの選別であって、僅差の順位付けではありません。

癖も測られています。順番を入れ替えると結論が変わらなかった割合は3つの判定役で23.8%、46.2%、65.0%。中身を増やさず言い換えただけで長くした答えを良いと判定した割合は91.3%、91.3%、8.7%。自分のモデルを高く付けた例もありますが、これについては論文自身が断定を避けています。打ち消し方も判明していて、順番を入れ替えて2回呼び、両方で勝ったときだけ勝ちとする方法は、呼び出しが2倍になるだけで位置の癖を無効にできます。

設計は4つの工程で組みます。決める工程では、対象を1つの用途に絞り、合否で決まる条件と程度で決まる条件を分け、少数の実物を人が先に採点して基準を固め、AIに採点させない範囲を先に引く。回す工程では、日付だけでなく出来事をきっかけに実行し、固定の材料と本番からの抜き取りを2層で持ち、点数と理由と版を1か所に残す。点検する工程では、採点する側がずれていないかを固定の材料の点数で見る。続ける工程では、費用と手間を先に見積もり、仕事の外側に足さない。

全部を一度に整えようとすると始まりません。固定の材料を数十件、基準を5項目までに絞り、変更のたびと月に一度だけ回すところから始めてください。採点の仕組みが返してくれるのは、良い出力ではなく、変えた結果が良くなったのか悪くなったのかを言い切れる状態です。この状態がないまま指示文を直し続けると、直した回数だけ自信が増えて、根拠は増えないままになります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。