AIモデルを選ぶ前に見る項目一覧｜性能比較の数字の読み方

「うちで使うモデルは、公表されている点数が一番高いものにしておけばよいですよね」「比較表をそのまま稟議に貼りたいのですが、これで説明として通りますか」——AI導入の相談では、この2つがほとんど同時に出てきます。点数の高い順に並べて上から選ぶ。手続きとしては明快で、資料としても通りやすい。ところがこの選び方は、業務で使い始めてから外れます。外れる理由は、モデルの性能が変わったからでも、比較表が間違っているからでもありません。公表されている点数は「どのモデルが優れているか」ではなく「ある条件のもとで、ある問題集を、何回のうち何回正解したか」しか表していないからです。この記事では、公表の数字が何を測っていて何を測っていないかを型ごとに分け、数字が壊れる4つの原因を実測値で確かめたうえで、選ぶ前に見る項目を一覧にします。

「点数の高い順に並べれば決まる」は、どこで崩れるか

崩れ方には順序があります。まず、測っている作業の型が自社の作業と違うところで崩れます。次に、点数が付いたときの条件が自社の使い方と違うところで崩れます。最後に、複数の点数を足して総合点にするときの重みで崩れます。3つ目は見落とされやすいのですが、実測されています。

2026年1月に公開された中国語圏のモデル評価の研究は、304のモデル（商用189・公開重み115）を、領域と能力を掛け合わせた行列の上で207,843件の設問にかけました。その結論のひとつが、総合順位は重みの置き方に強く左右される、というものです。順位の振れ幅を表す値は、この評価の枠組みで11.4、従来型の指標では約5.0でした。研究者はこの差を「現代のモデルは全般的に優れているのではなく、高度に専門化している」と読んでいます。総合順位の1位と2位の差は、重みの置き方を変えると消える程度の差であることが多い、という意味です。

実務の言葉に直すと、こうなります。総合順位は「どれも一通りできるモデル」を上に押し上げる仕組みなので、自社の業務が1つの型に偏っているほど、総合順位と自社での使い勝手はずれます。議事の要約しか使わない部署にとっては、計算の指標が総合点を押し上げているかどうかは関係がありません。選ぶ前にまず、総合点を分解して、自社が使う型の点数だけを見る。ここを飛ばした比較表は、どれだけ丁寧に作っても判断材料になりません。

公表されている点数は、大きく3つの型に分かれる

型を分けておくと、以降の話が短くなります。1つ目は知識を広く問う指標。選択式や短答式の問題に、何割正解したかを出します。2つ目は作業をやり切れるかを見る指標。一続きの作業を最後まで通せたか、通せた割合はいくつかを出します。3つ目は人の好みで勝ち負けを付ける順位表。同じ問いに対する2つの答えを人に見せ、どちらが好みかを投票させて勝率から順位を作ります。

• 知識を広く問う指標は「知っているか」を測る。自社の文書を読ませる作業は測っていない
• 作業をやり切れるかを見る指標は「最後まで通せるか」を測る。答えの質は別に見る必要がある
• 人の好みで勝ち負けを付ける順位表は「多数の人が好むか」を測る。自社の好みは測っていない
• 3つは互いに置き換えられない。1つ目が高くて2つ目が低いモデルは珍しくない

この3つを混ぜて1枚の表にしたものが、世に出回る比較表です。混ぜること自体は悪くありませんが、混ぜた表を見て「総合的に優れている」と言った瞬間に、判断が型から離れます。自社の業務がどの型に当たるかは、実際に来る依頼を10件書き出して、どれが「調べる」でどれが「やり切る」かを分けるだけで決まります。多くのマーケ業務と情シス業務は、3つ目の型からは最も遠いところにあります。

型1　知識を広く問う指標は「知っているか」しか見ていない

この型の指標は、モデルの中に蓄えられている知識を取り出せるかを測ります。業務で言えば、下調べの一部が近い。けれども実務で頻度が高いのは、自社の資料を渡して、その中だけを根拠に答えさせる作業のほうです。社内規程に照らして可否を答える、契約書の条項と社内基準の食い違いを挙げる、過去の議事録から決定事項だけを抜き出す。これらはどれも、蓄えられた知識ではなく、渡した資料を正しく扱えるかを問う作業です。この型の指標は、そこを測っていません。

では使い道がないかというと、そうではありません。使い道は足切りです。ある水準に届かないモデルを候補から外す、という一方向の使い方には耐えます。外す方向は誤りが少なく、選ぶ方向は誤りが多い。この非対称は覚えておくと役に立ちます。候補を20から5に絞るまでは公表の点数でよく、5から1に絞る作業だけは、自社の題材でやり直す。この切り替え点を決めておくと、比較表を延々と読み込む時間が消えます。

型2　作業をやり切れるかを見る指標の「半分の確率」という前提

この型でよく引かれるのが、人が何分かける作業まで機械がやり切れるかを測る考え方です。2025年3月に公開され2026年7月に改訂された研究は、「その作業を人がやると通常どれだけ時間がかかるか」を横軸に置き、モデルが50%の確率でやり切れる作業の長さを指標にしました。調査の時点で先端とされたモデルで、その長さはおよそ50分。さらにこの長さは、2019年以降おおむね7か月で倍になっている、と報告されています。

ここで読み違えが起きます。「50分の作業ができる」ではありません。「人が50分かける作業を、2回に1回はやり切る」です。業務に置き換えると、2回に1回は途中で止まるか、間違えたまま最後まで走ります。半分の確率という前提を外して読むと、現場に降ろしたときの「思ったより手戻りが多い」が説明できなくなります。公表の点数を稟議に載せるなら、その点数が何割の成功率を指しているかを、必ず同じ行に書く。これだけで、後の期待値のずれがかなり減ります。

もう1つ、この型で見落とされるのが「難しさ」と「続けやすさ」の違いです。2025年12月に公開された研究は、盤上遊戯を題材に50を超えるモデルを並べました。相手は手をでたらめに指す相手で、指示に従うという意味では難しい課題ではありません。それでも、最先端とされる多くのモデルが、対局を最後まで完了できないか、安定して勝てなかったと報告されています。難問が解けることと、簡単な手順を何十手も崩さずに続けられることは、別の能力だということです。定型の業務を任せる相手を選ぶときは、難問の点数より、この「崩れなさ」のほうが効きます。

型3　人の好みで勝ち負けを付ける順位表と、文体の効き方

3つ目の型は、同じ問いに2つの答えを並べて人に選ばせ、勝率から順位を出す仕組みです。感覚に近い評価が得られる反面、投票する人が中身ではなく見た目で選んでいる分が点数に混ざります。この順位表を運営している側は、2024年8月29日に、文体の影響を差し引いて順位を見る機能を公開しました。差し引く要素は4つ。答えの長さ、見出しの数、太字の数、箇条書きの数です。

差し引いた結果は明確でした。長く書いて見出しを付けるモデルは順位を落とし、短く正確に答えるモデルは順位を上げました。運営側は「文体はモデルの成績に強い影響を与える」と述べ、4要素のうち長さが最も大きい要因だとしています。この機能は2025年5月16日から既定の表示になりました。つまり、それ以前に作られた比較資料の順位は、文体の分を含んだままの順位です。古い資料を引くときは、いつの時点の順位かを確かめる必要があります。

業務側の含意は単純です。社内の申請文や取引先への返信の下書きに使うなら、長く書いて見出しを立てる答えは、むしろ手直しの手間を増やします。多数の人の好みは、自社の好みではありません。この順位表は「多数決で好かれる書き方」を測る道具であって、業務文書の適性を測る道具ではない、と位置づけておくのが安全です。

順位表の作られ方そのものにも偏りがある

2025年4月に公開された検証論文は、この種の順位表の運用そのものを調べています。指摘された論点は3つ。第一に、公開前に複数の版を非公開で試し、良い結果だけを出す運用ができること。極端な例として、ある提供元が主力モデルの公開に先立って27の非公開版を試していたことが特定されています。選べる立場にある提供元の点数は、選べない提供元より高く出ます。

第二に、対戦の割り当てが均等ではないこと。推計として、大手2社がそれぞれ順位表の全データの19.2%と20.4%を受け取っており、一方で公開重みのモデル83本を合わせても29.7%にとどまる、とされています。第三に、そのデータに触れられること自体が性能に効くこと。論文は保守的な見積もりとしたうえで、限られた追加データでも、この順位表の分布の上で最大112%の相対的な性能向上が出うると報告しています。

この3点は、順位表が無価値だという話ではありません。参加の仕方が点数に効く場である、という話です。だから読み方はこうなります。順位表の上位に居ることは「この場で戦う運用をしている提供元である」ことを示すが、「自社の業務で強い」ことは示さない。候補を眺める段では見てよく、最後の1つを決める段では材料から外す。第3章で書いた足切りと同じ扱いです。

天井に張り付いた指標は、比べる力を失っている

ここから、点数が壊れる4つの原因に入ります。1つ目は飽和です。上位のモデルが軒並み満点近くを取ると、その指標は良し悪しを区別できなくなります。2026年5月に公開された研究は、実装課題を出す代表的な指標について、先端モデルが易しい区分で1回目の試行の正解率99%超、難易度全体の平均でも90%超に達している、と報告しました。この帯域では、95%と97%の差は実力差ではなく、揺らぎの範囲です。

同じ研究は、既存の問題を機械的に難しく作り替えて91問の問題集を組み直しています。その問題集では、先端モデルの1回目の正解率が27.5%から62.6%まで散らばりました。同じモデル群でも、問題の難易度を上げるだけで差が戻る。つまり飽和はモデルの性質ではなく、問題集の性質です。点数が高い指標ほど、比べる道具としては壊れている、という逆説がここで効いてきます。

実務での使い方は決まります。候補どうしの点数が2ポイント以内に並んでいる指標は、その時点で判断材料から外す。差が出る帯にある指標を探すか、自社の題材で作り直す。公表資料に「上位が何点に固まっているか」の分布が載っていることは少ないので、上位5モデルの点数を並べてみて、幅が5ポイントを切っていたら飽和を疑う、という粗い当たりの付け方で十分です。

問題が学習に混ざると、点数は記憶の量に変わる

2つ目の原因は、問題や答えが学習データに入ってしまうことです。2024年に公開された研究は、これを正面から測りました。広く使われている小学校の算数の文章題の指標について、同じ作りで新しく1,000問を作り直し、元の問題集との点数差を見たのです。結果、系列によっては最大13%の点数の落ち込みが観測されました。しかも、元の問題集の例題を生成しやすいモデルほど2つの点数差が大きい（順位相関の2乗で0.32）という関係も出ています。

公平を期すと、この研究は先端とされるモデル群では過剰適合の兆候が小さかったとも述べています。全てのモデルが記憶で点を取っているという話ではありません。ただ、公開されている問題集は時間が経つほど混ざる、という方向は動きません。3年前に作られた問題集の今年の点数は、実力の伸びと混入の進行が足し合わさった値です。分けて読むことはできません。

• 本記事の数値は2026年9月時点で公開されている研究と公表資料に基づいています。指標も順位表も更新が速く、半年で前提が変わることがあります
• 指標名・順位表の名称・モデル名は、本文では表記せず「何を測っているか」で呼んでいます。社内資料に転記するときは、必ず原典の名称と公表日を併記してください
• 点数の落ち込みや相関の値は、研究が扱ったモデル群での観測です。自社が使う候補に同じ幅で当てはまるとは限りません

採点する側が間違えていることがある

3つ目の原因は、あまり語られません。採点役の誤りです。2026年1月に公開された研究は、数学の難問を集めた問題集を人手で作り直し、正解が一意に決まる4,181問と、証明や推定や図が要る247問に分けました。そのうえで、採点役を2つ用意して判定を比べています。食い違った箇所を専門家が確認したところ、元から使われていた採点役は食い違いの96.4%で誤っていました。

この研究の主張は「難しい問題ほど、採点役も相応に賢くないと、モデル間の本当の差が採点の誤りに覆い隠される」というものです。飽和が起きるずっと手前から、この現象は起きている。AIに採点させた比較表を見るときは、誰が採点したかを、条件のひとつとして必ず控える。採点役を変えると結論が変わる比較表は、比較表として使えません。

関連して、AIに採点させたときの自己優遇も知られています。自分の書いた答えを高く付ける傾向のことです。ただしここは慎重に読む必要があります。2026年1月に公開された検証は、「採点役が自分でも解けない問題で、自分の答えを選んでいるだけではないか」という交絡を分離しました。採点役の実力を打ち消す基準線を引き直すと、従来の指摘のうち統計的に有意なまま残ったのは51%で、それが自己優遇の確率の重みの89.6%を占めた、という結果です。自己優遇は存在するが、言われてきたほど単純な現象ではない。自社で採点役を使うなら、採点役を2つ立て、食い違った分だけ人が見る運用が現実的です。

日本語の業務は、公表の点数がほとんど測っていない

4つ目の原因に入る前に、日本の会社にとって最も大きい欠落を書いておきます。2026年8月に公開された日英の対照研究は、日本語の評価が翻訳の質と、語彙・構文・語用をひとつの点数にまとめた総合型の問題集に偏っている、と指摘しています。そのうえで、汎用のモデルが日本語の利用者を実際に困らせるのは語用の側だと述べ、具体例として敬語、内と外の使い分け、場に応じた丁寧さ、主語の省略の4つを挙げています。社内文書と取引先への文面で毎日引っかかるのは、まさにこの4つです。

日本語版の問題集があるから安心、ともいきません。2026年7月に公開された日本語の指標は、既存の英語の問題集5つを日本語に訳したもので、合計1,319問という構成でした。訳した問題は、訳しても崩れない部分しか測れません。敬語の使い分けや主語の省略は、訳す過程で消えます。日本語版という表示は、日本語の言い回しを測っている保証にはならない、という読み方が要ります。

安全性の側も同じでした。2026年6月に公開された研究は、英語の問題を直訳した評価と、文化的な文脈に合わせて作り直した評価を4つの言語で比べています。結果は、16通りの言語とモデルの組み合わせすべてで、作り直したほうが攻撃の成功率が高くなりました。直訳した問題で測ると安全側に見える、ということです。日本語のやり取りが業務の中心なら、公表されている点数はほぼ判断材料にならない。ここは早めに割り切ったほうが、時間の使い方が良くなります。

測定の条件が違う数字は、並べてはいけない

最後の原因が条件差です。同じ問題集の同じモデルでも、1問につき何回答えさせたか、考える時間をどれだけ与えたか、外部の道具を使わせたか、指示文をどう書いたか、答えをどう取り出したかで点数は動きます。公表資料の脚注には、たいていこの条件が書いてあります。書いていない数字は、比べる対象にしないというのが唯一の防ぎ方です。

• 別々の発表資料から数字を1つずつ拾い集めて、1枚の比較表にする
• 1問につき1回だけ答えさせた点数と、複数回試して最良を採った点数を、同じ列に並べる
• 自社の言語と違う言語で測られた点数を、そのまま自社の判断材料にする
• 小数点以下の差を、実力の差として稟議に書く
• 半年前に公表された点数を、現在の点数として扱う
• 比較表の出どころを1つに絞らず、複数の要約記事から数字を継ぎ足す

条件がそろわないなら、自社で回し直すしかありません。回し直すといっても、全問を再現する必要はない。次の章で書く20問を、候補すべてに同じ条件でかければ足ります。同じ日、同じ指示文、同じ試行回数。そろえられない条件があるなら、そろえられなかったこと自体を記録に残します。後から「なぜこのモデルにしたのか」を問われたときに、効くのは点数ではなく、この条件の記録のほうです。

モデルを選ぶ前に見る10項目

並べ方は、公表資料だけで埋まる項目を先に置いてあります。上から順に見て、右の欄に当てはまったらその点数は判断材料から外す、という使い方をします。10項目のうち最後の3つは公表資料には載っていない項目で、自社で確かめるしかありません。逆に言えば、上の7つは資料を読むだけで埋まります。

見る項目	確かめること	外す基準
測っている作業の型	知識を問う型か、やり切る型か、好みの順位表か	自社の作業と型が違うものは、そもそも並べない
点数の帯	上位5モデルの点数の幅がどれだけあるか	幅が5ポイントを切っていたら飽和を疑い、差として読まない
問題集が作られた時期	いつ作られ、どれくらいの頻度で入れ替わるか	3年以上更新のない問題集の点数は、記憶の量が混ざっている前提で読む
採点の仕方	正解が一意に決まるか。採点役が人か、自動判定か、AIか	AIが採点役なら、採点役の名称も条件として控える
測定の条件	試行回数・考える時間・道具の有無・指示文・答えの取り出し方	条件が書かれていない数字は、他の数字と並べない
測られた言語	日本語で作られた問題か、英語の問題を訳したものか	訳した問題の点数は、敬語や主語の省略を測っていないものとして扱う
数字の出どころ	提供元の自己申告か、第三者による実測か	自己申告だけの数字は、脚注の条件まで読んでから使う
自社の題材での結果	自社の20問で、何回のうち何回そのまま出せたか	これが無いまま最後の1つを決めない
外し方の癖	間違えるとき、黙って間違えるか、分からないと言うか	黙って間違える癖が強いモデルは、確認の人手が増える前提で見積もる
版が上がったときの影響	更新の告知の出方と、出力の変わり方	更新のたびに確かめ直す手順が用意できないなら、候補から外す

この表で最も揉めるのは9番目です。点数の高いモデルほど「もっともらしく間違える」ことがあり、点数の低いモデルのほうが「分かりません」と正直に返す場合があります。確認の人手まで含めた総量で見ると、後者のほうが安く付くことがある。点数の差だけを見ていると、この逆転は絶対に見えません。次の章の20問で、落ちた分の落ち方を必ず読むのはこのためです。

自社の題材で点数を作る5工程

公表の点数で候補を絞り切れないところまで来たら、自社で作ります。作るのは大がかりな評価の仕組みではなく、20問の問題集です。20という数には理由があります。正解を人が先に書ける上限が、だいたいこのあたりだからです。100問にすると正解を書く工程が終わらず、結局その正解もAIに書かせることになり、自社の題材で測る意味が消えます。

この5工程は、多くの部署で3日から1週間に収まります。重いのは工程2だけで、ここに担当者の時間を確保できるかが成否を分けます。そして一度作った20問は、次に候補が増えたときにそのまま使い回せる。版が上がったときの確かめ直しにも同じ20問を使うので、作る手間は最初の1回だけです。経験上、20問を一度作った部署は、比較表を読む時間が目に見えて減ります。

AIに任せる工程と、人が決める3つ

この作業のどこまでをAIに寄せられるかを、はっきり分けておきます。任せてよいのは4つ。候補の一覧づくり、公表資料からの条件の抜き出し、自社の題材での出力を横に並べ直すこと、並べた結果の違いの要約。2つ目が特に効きます。脚注に散らばっている試行回数・考える時間・道具の有無を、1つの表に起こす作業は、人がやると抜けが出ます。

人が決めるのは3つです。どの題材で試すか、合格の線をどこに引くか、乗り換えるかどうか。1つ目を任せると、AIは無難で答えやすい題材を選びます。2つ目を任せると、線は必ず「おおむね良好」の側に寄ります。3つ目は費用と切り替えの手間が絡むので、そもそも判断材料が出力の外にあります。

任せるときの作法は1つだけ。出力に必ず出どころを併記させることです。資料の名称、公表日、その数字が載っているページ、脚注の番号。出どころの欄が空いている行は、資料に載っていないのか、探せなかっただけなのかを人が切り分ける。この切り分けを省くと、要約の要約で選ぶことになります。

• AIに「どのモデルが一番良いですか」と聞いて、返ってきた順位を判断材料にする
• 候補の一覧をAIに作らせたまま、そのモデルが実在するかを確かめない
• 公表資料の条件を、要約だけ読んで転記する（表の中の数字は本体を開いて数える）
• AIに20問を採点させ、その点数だけで合否を決める
• 自社の題材そのものをAIに作らせる（実際に来た依頼から抜くのが前提）

ミニ用語解説

性能の比較表に並ぶ言葉は、数字の意味を取り違えさせることがあります。同じ名前の項目でも測り方が違えば結果は比べられないので、社内で説明する前に、どの語がどの測り方を指しているのかを押さえておきます。

語	この分野での意味	読むときの注意
指標	ある問題集と、その採点の仕方をひとまとめにしたもの	「良いモデル」ではなく「その問題集での成績」しか表さない
飽和	上位のモデルが天井に張り付き、差が出なくなった状態	点数が高い指標ほど、比べる道具としては壊れている
学習への混入	問題や答えが、学習に使われたデータに入っていること	点数が実力ではなく、覚えた量に変わっていく
総合点	複数の指標の点数に重みを付けて足したもの	重みの置き方を変えると、上位の並びが入れ替わる
試行回数	1問につき何回答えさせ、どれを採用したか	回数が違う点数は、同じ列に並べられない
採点役	答えの正誤を判定する仕組み。人・自動判定・AIの3種類がある	AIが採点役だと、採点役の癖が点数に混ざる
文体の差し引き	答えの長さや見出しの数の影響を統計的に取り除く処理	処理をした順位と、していない順位は別の表として扱う

この7語のうち、社内で最も伝わりにくいのは飽和です。「点数が高いのに、その指標は使えない」という言い方が直感に反するためです。説明するときは、全員が満点を取った試験では、誰が優秀かは分からない、という言い方が通りやすい。指標は序列を付ける道具なので、序列が付かなくなった時点で役目を終えている。そこから先は、自社で難易度を上げた問題を用意するしかありません。

まとめ

公表されているモデルの比較は、成績表ではなく採点結果です。測っているものは3つの型に分かれ、知識を広く問う指標は「知っているか」を、作業をやり切れるかを見る指標は「最後まで通せるか」を、人の好みで勝ち負けを付ける順位表は「多数の人が好むか」を測っています。型が違えば置き換えられません。やり切る型の代表的な考え方は50%の成功率を前提に置いており、調査時点の先端モデルで人が約50分かける作業まで、2019年以降おおむね7か月で倍、という報告でした。2回に1回は止まる、という前提を落とさずに読むことが出発点になります。

点数が壊れる原因は4つ確かめられました。上位が天井に張り付いていること（易しい区分で1回目の正解率99%超、平均でも90%超）、問題が学習に混ざること（作り直した1,000問との差が系列によって最大13%）、採点する側が誤ること（食い違いの96.4%で採点役のほうが誤り）、そして測定条件がそろわないこと。さらに日本語では、敬語・内と外の使い分け・場に応じた丁寧さ・主語の省略という、実務で最も困る4つがほとんど測られていません。総合順位そのものも、304のモデルを207,843件の設問にかけた評価では、重みの置き方で順位の振れ幅が11.4に達しました。

だから作業は2段になります。公表の点数は候補を20から5に絞る足切りに使い、5から1に絞る作業は、実際に来た依頼から抜いた20問でやり直す。候補の一覧づくりと脚注からの条件の抜き出し、出力の並べ直しと違いの要約はAIに任せてよく、そのときは出どころを必ず併記させて、空欄の行は人が切り分けます。どの題材で試すか、合格の線をどこに引くか、乗り換えるかどうかは、使った結果に責任を負う部署が決める。この分け方で20問を一度作っておけば、次にモデルが増えた日も、版が上がった日も、同じ20問を回すだけで判断が終わります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。