Inspect AIとは何か?|社内の合格基準に使う前に

「AIの選定で候補を比べたいが、ベンダーの資料の数字は条件がばらばらで比べようがない」「英国の公的機関が作った評価の道具があるらしい。あれを使えば、社内の合格基準として説明しやすいのではないか」——AI導入の担当者や、情シスで生成AIの審査を任された人から聞こえてくる声です。後者の期待は自然ですが、公的機関が作ったのは「測る道具」であって、「合格の線」ではありません。道具が共通でも、何を題材にし、誰がどう採点し、どこで合格とするかは、使う会社が決めることです。この記事では、英国AIセキュリティ研究所が公開した評価の枠組み Inspect AI(以下 Inspect)を、社内のAI選定や公開前の合格基準の共通の物差しとして使うかどうかを、公的機関製の意味と限界、既成の評価の使い方、AIに採点させるときの人の役割、記録の使い道、回す体制、費用とやめ方の順に整理します。
カメ先生公的機関が作った評価の道具と聞くと、それで測って合格なら安全、というお墨付きのように受け取られがちなんだ。でも Inspect は、題材と解き方と採点の仕方を組み立てるための枠組みで、合否の線は入っていない。線を引くのは使う側なんだよ。
カメ子道具が公的でも、測り方と合格の線を決めるのは自社ということですか。
カメ先生そう。だからこの道具の値打ちは、測り方を記録に残して、同じ測り方を何度でも繰り返せるところにある。候補を同じ題材で比べたり、モデルを替えた後にもう一度測ったりするときに、物差しがぶれないんだ。
カメ子お墨付きではなく、測り方をそろえるための道具なんですね。
- Inspect は英国AIセキュリティ研究所が公開したAIとエージェントの評価の枠組み。MITライセンスのOSSで、題材・解き方・採点の三つの部品を組み合わせ、200を超える既成の評価も公開されている
- 公的機関製は「お墨付き」ではない。既成の評価は一般的な能力を測るもので、自社の業務の題材と合格の線は自社で足して決める
- 採点をAIに任せる範囲と人が見る範囲、記録の保管、回す時期と担当、モデル呼び出しの費用とやめ方を決めてから、社内の物差しにする
あなたのWebサイトは、AIによる攻撃に耐えられますか?
AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。
Inspect とは:英国のAIセキュリティ研究所が公開した評価の枠組み
Inspect は、大規模言語モデルとAIエージェントを評価するためのOSSの枠組みです。GitHub のリポジトリは英国政府の組織の名義で公開されており、説明には「英国AIセキュリティ研究所が作った」と書かれています。公式の文書サイトは、同研究所と民間の研究組織メリディアン・ラボが開発していると説明しています。ライセンスはMITライセンスで、Python の部品として配布され、Python 3.11 以上で動きます。
研究所が Inspect を公開したのは2024年5月です。研究所はもともと英国のAI安全研究所という名前で、2025年2月14日に現在のAIセキュリティ研究所に改称しています。公的機関が最先端のAIモデルの試験に使ってきた道具を、外に開いたという成り立ちです。リポジトリには2026年11月時点で3千を超えるスターが付いており、研究者や評価の実務家の間で使われている様子がうかがえます。
評価の対象として公式に挙げられているのは、プログラミング、エージェントの作業、推論、知識、振る舞い、画像などを含む理解です。20を超えるモデルの提供元に標準で対応し、Hugging Face などを使って手元のモデルで動かすこともできます。OpenAI、Anthropic、Google のモデルを同じ評価で並べて測る、といった使い方が最初から想定されています。
2026年の動き:10月だけで8回の更新、版は0.3台
Python の部品の公開サイトの履歴を見ると、2026年10月31日に版0.3.287が出ています。その前も10月14日、15日、19日、21日、25日(2回)、28日と、10月だけで8回の版が公開されています。開発が活発であることは、放置されたOSSを選んでしまう心配が小さいことを意味します。公的機関の道具でありながら、民間のOSSと同じ速さで手が入っているのが特徴です。
一方で、版番号は0.3台のままで、1.0には達していません。一般に1.0未満の版は、書き方や記録の形が変わる余地を残している段階と受け取られます。公式文書にも、古い記録は新しい版で開けるが、対応していない設定を含む記録は、評価をやり直す前に移し替えが要る、という注意があります。更新が速いことは、社内の物差しとしては「版を固定する」作業を生むと考えておく必要があります。
実務では、評価に使う版を決めて記録に残し、版を上げるときは、前の版と新しい版で同じ評価を回して結果がそろうかを確かめてから切り替えます。合格の判断を、知らないうちに上がった版の結果で下さない、という決まりです。評価をやり直す機能は、記録に保存された操作の承認の方針も復元すると説明されているので、版と一緒に方針のファイルも記録とともに保管しておきます。物差しの目盛りが勝手に変わらないようにする作業だと考えると分かりやすいでしょう。
公的機関製であることの意味と限界:お墨付きではない
公的機関製であることの意味は、主に三つあります。一つは、特定のAI提供元の製品ではないため、候補のモデルを並べて比べるときに、道具そのものが一方に有利に作られている心配が小さいことです。二つ目は、最先端のモデルの試験に実際に使われてきた枠組みで、隔離環境やエージェントの試験など、難しい評価に必要な部品がそろっていることです。三つ目は、MITライセンスのOSSで、利用料や提供元の都合による値上げの心配が無いことです。
限界もはっきりしています。Inspect は合格の基準を配っているわけではありません。研究所が特定のモデルを認証しているわけでも、Inspect で測った結果が日本の法令や業界の指針に適合していることを示すわけでもありません。取引先に「英国の公的機関の道具で評価した」と書くことはできても、それだけでは「安全だと確かめた」ことの説明にはなりません。
評価の基準の項目を何にするか、エージェントを評価するとはどういうことか、という一般論は別の記事で扱っています。ここで押さえたいのは、道具の出どころの信頼と、評価の中身の信頼は別だという点です。中身の信頼は、題材の選び方、採点の仕方、合格の線を自社が文書にし、それを繰り返し回して初めて生まれます。
三つの部品:題材・解き方・採点
Inspect の評価は、一つの「課題」として組み立てます。課題は三つの部品でできています。題材は、AIに渡す問いと、理想の答えや採点の手がかりの組で、CSV や JSON のファイル、Hugging Face のデータなどから読み込めます。解き方は、AIが答えを作る手順で、一回問いかけるだけのものから、道具を使って何往復もするエージェントまで組めます。採点は、出てきた答えを文字の比較、AIによる採点、独自の方法で評価します。解き方には、考える・動く・結果を見るを繰り返す標準のエージェントも用意されており、道具を渡して、答えを提出するまで動かせます。
この分け方は、社内の物差しとして使うときに効いてきます。題材を固定したまま解き方だけを替えれば、プロンプトの工夫や手順の違いの効き目を測れます。題材と採点を固定してモデルだけを替えれば、候補の比較になります。どの部品を固定し、どの部品を替えたかを記録に残せることが、ベンダーの資料の数字との大きな違いです。
| 部品 | 中身 | 社内で決めること |
|---|---|---|
| 題材 | 問い・理想の答え・採点の手がかり | 業務から選ぶ問い、件数、更新の時期 |
| 解き方 | 一回の問いかけから、道具を使うエージェントまで | 本番と同じ手順か、使ってよい道具 |
| 採点 | 文字の比較・AIによる採点・独自の方法 | 機械で決める項目、人が見る項目、合格の線 |
採点の部品には、答えに特定の語が含まれるか、末尾が一致するか、数値として一致するかといった機械的な判定と、別のモデルに採点させる方法がそろっています。結果は標準で、正答率とそのばらつきの目安(標準誤差)として出ます。ばらつきの目安が付くことは、題材の件数が少ないと結果が当てにならないことを数字で示してくれる点で、社内の説明に役立ちます。一つの課題に複数の採点を並べ、機械的な判定とAIの採点を同時に記録しておくこともできます。
既成の評価200本超を、そのまま使う危険
Inspect には、既成の評価の集まり Inspect Evals が用意されています。研究所は2024年11月13日の公式ブログで、カナダのベクター研究所や研究支援団体のアルカディア・インパクトと数か月かけて作った、利用者が持ち寄る評価の集まりとして発表しました。分野はプログラミング、数学、サイバーセキュリティ、安全上の防御、推論、一般知識にわたり、リポジトリの説明では200を超える評価がそろっています。研究所はこの取り組みの狙いを、評価の実装が組織ごとに閉じていて、作業の重複や相互の点検の不足が生じていた問題に対する最初の一歩と説明しています。言い換えれば、既成の評価の実装も完成品ではなく、利用者が点検し合う途中のものです。
既成の評価は、手早く始められる点で便利です。しかし、その多くは研究や各社のモデル発表で使われる、一般的な能力の試験です。高得点のモデルが、自社の問い合わせ対応や契約書の確認でうまく働くとは限りません。日本語の業務文書、社内の言い回し、自社の製品名を含む問いは、既成の評価にはほとんど入っていないと考えるべきです。
また、広く公開された試験の問題は、モデルの学習データに混ざっている可能性が以前から指摘されています。点数が高いのは解き方を身につけたからなのか、答えを覚えていたからなのか、外からは区別しにくいのです。既成の評価は「足切り」と「比較の目安」に使い、合否の判断には使わないという線を引いておくと、使いどころを誤りません。
- 既成の評価の点数だけでモデルを選び、自社の業務の問いでは一度も試さない
- 公的機関の道具で測ったことを、安全性を確かめた根拠として取引先に説明する
- 道具の版や設定を記録せずに測り、半年後に同じ点数を再現できない
- AIの採点結果を人が一度も抜き取りで確かめないまま、合否に使う
自社の題材を足す:業務の問いから評価を作る
社内の物差しの中心になるのは、自社の題材です。問い合わせの記録、営業資料への質問、社内規程についての質問など、実際に寄せられた問いから選び、理想の答えか、採点の手がかり(答えに必ず含むべき事実、言ってはいけないこと)を書きます。題材は表計算で作って CSV に書き出せば読み込めるので、最初の作業はプログラムを書けない業務の担当者でも進められます。読み込むときは、表のどの列を問いに、どの列を理想の答えに当てるかを指定すれば足り、変換のためのプログラムを別に書かなくてよいと公式文書は説明しています。
件数は、最初から多くを狙わず、業務の担当者が一件ずつ理想の答えを書ける量から始めます。そのうえで採点結果のばらつきの目安を見て、幅が大きすぎるなら件数を足します。題材には、答えてはいけない問いと、根拠が資料に無い問いを必ず混ぜます。知らないことを知らないと言えるかは、業務でいちばん効く試験の一つです。
自社の題材は、社外に出してはいけない情報を含むことが多い点にも注意します。顧客の名前、実際の金額、個人の情報は、題材にする前に置き換えます。題材の置き場所と閲覧できる人を決め、題材そのものを、評価する相手のAIの学習に使わせないことも確かめます。題材がモデルに漏れれば、物差しが目盛りごと壊れるからです。
採点をAIにさせるとき、人が見る範囲
自由に書かせる答えは、文字の一致では採点できません。Inspect には、別のモデルに理想の答えや手がかりと照らして採点させる仕組みがあり、採点の指示文を書き換えることも、複数の採点役のモデルを使うこともできます。ただし、採点役のAIの判定は、それ自体が誤りうるので、最初の段階では人の採点と突き合わせます。採点役には、答えが理想の答えに沿っているかを総合で見る型と、理想の答えに書いた事実が含まれているかだけを見る、より狭い型があります。業務では、まず狭い型で事実の有無を確かめ、総合の判定は人に寄せるほうが、ずれが小さくなります。
進め方はこうです。まず数十件を人が採点し、同じ件をAIに採点させて、一致しない件を読みます。ずれの多くは、採点の手がかりの書き方のあいまいさから来ます。手がかりを書き直し、もう一度突き合わせて一致が十分になってから、AIの採点を本格的に使います。Inspect は、残っている記録を採点し直す機能や、採点を後から修正する機能も備えているので、手がかりを変えるたびにAIに解き直させる必要はありません。
本格的に使い始めた後も、人が見る範囲を残します。不合格になった件はすべて人が読み、合格の件からも決まった割合を抜き取って読みます。AIに判断させないのは合格の線そのもので、AIの採点はあくまで人の判断の材料です。採点役のAIには、なぜその点にしたかの根拠を書かせ、人が読んで納得できない採点は採用しません。
エージェントを試すとき:隔離環境と操作の承認
エージェントを評価する場合、AIはコマンドを実行したり、ファイルを書き換えたり、Webを検索したりします。Inspect は、信頼できないモデルのコードを Docker や Kubernetes などの隔離環境で動かす仕組みを持ち、コマンドの実行、Python の実行、文書の編集、Web検索、画面の操作などの道具と、MCP でつなぐ道具を使えます。Claude Code、Codex、Gemini の CLI のような外部のエージェントを、そのまま評価にかけることもできると説明されています。
道具を使う評価で効いてくるのが、操作の承認の仕組みです。公式文書によると、すべての道具の呼び出しを人が一件ずつ承認する形や、特定の道具だけを人に回して残りは自動で通す形を、方針のファイルで決められます。人は承認、却下、終了を選べ、却下するとモデルにはその旨と理由が伝わります。自動で通した承認は記録に残らない、という注意も書かれています。方針としては、引数を書き換えて通す、次の承認者に回す、という判断も用意されています。外部のエージェントのように自前で道具の呼び出しを回すものでは、却下するとその応答に含まれる呼び出しがまとめて捨てられ、3回続けて却下されると、その件の評価は打ち切られます。
社内の評価では、隔離環境の外に届く道具(Web検索や社内システムへの接続)は人の承認に回す設定から始めます。評価で本番のシステムの接続先を使わない、評価用の鍵は権限の小さいものにする、という線も先に引きます。評価中のエージェントが何をしようとしたかは記録に残るので、危ない操作の試みが無かったかも合否の材料に加えます。
評価の記録を、監査と取引先への説明に使う
Inspect は、評価のたびに記録を残します。題材の一件ごとに、AIへの問い、AIの答え、道具の呼び出し、採点とその理由がたどれ、結果を見る画面で一覧と一件ごとのやり取りを確かめられます。VS Code の拡張機能もあり、評価の作成と不具合の調べに使えます。記録を見ながら、AIの答えのどこで間違えたかを業務の担当者と一緒に読む場を月に一度設けると、題材の足りない点や採点の手がかりのあいまいさも見えてきます。
この記録は、社内の監査や取引先への説明の材料になります。このAIを本番に出す前に、どの題材で、どの版の道具と採点の仕方で測り、何件中何件が合格で、不合格の件をどう扱ったかを、後から第三者がたどれる形で示せるからです。ベンダーの資料の数字を引用するより、説明の根拠としてずっと強くなります。
ただし、記録には題材と答えがそのまま残ります。社外秘の題材を使った評価の記録を、取引先にそのまま渡すことはできません。説明用には、題材の分類、件数、合格率、不合格の扱いをまとめた要約を作り、記録の本体は社内に保管するのが現実的です。保管の期間と閲覧できる人は、AIの利用規程の中で決めておきます。要約にも、使った道具の版と評価した日付は必ず書き添え、いつの時点の結果かが読み手に分かるようにします。
選定の物差しにする:同じ題材で候補を比べる
AIの選定では、候補ごとに試し方がばらばらになりがちです。担当者がそれぞれ思いついた質問を投げ、印象で比べてしまうこともあります。Inspect を物差しにすると、同じ題材、同じ解き方、同じ採点で、候補のモデルだけを替えて測れます。結果を並べれば、どのモデルが自社の問いに強いかが同じ条件の数字で見えます。呼び出す相手の提供元は設定で切り替えられるので、比べる準備の手間は、候補ごとに接続の鍵を用意する程度で済みます。
比べるときは、正答率だけでなく、かかった時間と費用、答えてはいけない問いへの反応も並べます。正答率がわずかに高くても、費用が倍なら選ばないという判断は十分にありえます。また、同じ問いでも答えは回ごとに変わるので、一回の測定で差が小さい場合は、何回か繰り返して差が安定するかを見ます。ばらつきの目安の幅が重なっているなら、差は無いものとして扱います。
選定に使った題材と結果は、契約の後も残しておきます。提供元がモデルを更新したとき、同じ題材で測り直せば、性能が落ちていないかを確かめられます。選定の物差しは、そのまま導入後の見張りの物差しになるわけです。選定のときに題材を作り込んでおくことが、後の運用の手間を減らします。
出す前の合格基準に組み込む:回す時期と体制
社内の物差しとして定着させるには、いつ回すかを決めます。代表的なのは、新しいAIの機能を公開する前、使っているモデルを替える前、プロンプトや参照資料を大きく変える前、そして定期の見直しです。回す時期を規程に書いておかないと、評価は導入のときに一回だけ行われ、後は誰も回さなくなります。定期の見直しは四半期に一度などと決めておくと、提供元がモデルを予告なく更新した場合にも気づけるようになります。
業務の担当者と、何ができれば出してよいか、何が一件でもあれば出さないかを文章にします。線は評価を回す前に決め、結果を見てから動かさないのが原則です。
自社の題材を作り、機械で判定する項目とAIに採点させる項目を分けます。AIの採点は人の採点と突き合わせてから使います。
道具の版、モデル、設定を記録に残して回し、結果は前回の結果と並べて見ます。
不合格の件と抜き取りの件を業務の担当者が読み、直すべき点を決めます。
評価の結果と人の所見をそろえて、公開の可否を責任者が決め、判断の理由を記録に残します。
体制としては、評価を組み立てて回す人(Python が書ける人)、題材と理想の答えを書く業務の担当者、合格の可否を決める責任者の三者が要ります。Inspect はOSSなので、提供元の保守の契約は無く、困ったときに頼れるのは公開の文書と利用者の集まりです。社内に回せる人がいない場合は、外部の支援を受けて最初の評価を作り、回し方を引き継いでもらう形も考えられます。
何が社外に出るか:評価する相手と採点役のモデル
Inspect そのものは自社の端末やサーバーで動く道具で、評価の記録も手元に残ります。社外に出るのは、評価のためにモデルを呼び出すときです。評価する相手がクラウドのモデルなら、題材の問いはその提供元に送られます。採点をAIにさせる場合は、問いと答えと理想の答えが、採点役のモデルの提供元にも送られます。評価する相手も採点役も手元のモデルにすれば評価は社内で完結しますが、手元のモデルは採点の精度が落ちることがあるので、その場合は人の採点との突き合わせを厚くします。
つまり、題材が二つの提供元に出ることがありえます。採点役に、評価する相手とは別の会社のモデルを使えば、自社の製品に甘い採点を避けられる一方、出ていく先が増えます。社外秘の題材を使うなら、手元で動くモデルを採点役にする、題材を置き換えてから使う、送り先の提供元の学習と保存の扱いを確かめる、のいずれかを選びます。
既成の評価や題材を外部から読み込む場合は、外のデータやコードを取り込むことになります。取り込んだ評価の中身を読んでから回すのが基本で、とくにエージェントの評価では、取り込んだ課題が隔離環境の中でどんな操作をさせるかを確かめてから実行します。
費用の増え方とやめ方
Inspect はMITライセンスのOSSで、道具そのものの利用料はかかりません。費用の中心はモデルの呼び出し代です。題材の件数、繰り返しの回数、比べるモデルの数、採点をAIにさせるかどうかで、呼び出しの回数は掛け算で増えます。たとえば題材200件を3回繰り返し、候補3つのモデルで測れば、答えを作るだけで1,800回の呼び出しになり、AIに採点させればその倍近くになります。
エージェントの評価では、一件ごとに何往復もの呼び出しが起き、隔離環境を動かす計算機の費用も加わります。費用を抑えるには、日常の確認には機械で判定できる項目と少数の題材を使い、AIの採点を伴う大きな評価は節目に限るのが現実的です。呼び出しの上限を設定し、評価の前に概算を出す習慣も付けておきます。まず少数の件で回して呼び出しの回数と費用を測り、全件の費用を見積もってから本番の評価を回す順番にすると、予算を超える心配が小さくなります。
やめるときに残すべきものは、題材、合格の線の文書、過去の評価の記録です。題材は CSV などの一般的な形式で持っておけば、別の評価の道具に移っても使えます。物差しの本体は道具ではなく、題材と合格の線なので、ここを自社の資産として持っていれば、道具を替えても測り方は引き継げます。
導入前のチェックリストとミニ用語解説
Inspect を社内の物差しにする前に、次の項目を確かめます。一つでも答えられない項目があれば、道具を入れる前にそこから決めます。
- 合格の線を、評価を回す前に業務の担当者と文章にしたか
- 既成の評価を、足切りと比較の目安に限って使う線を引いたか
- 自社の題材に、答えてはいけない問いと根拠の無い問いを入れたか
- AIの採点を人の採点と突き合わせ、不合格と抜き取りを人が読む決まりにしたか
- 道具の版・モデル・設定を記録し、版を上げるときの確かめ方を決めたか
- 題材が社外のどの提供元に送られるかを整理し、置き換えの要否を決めたか
- 評価の記録の保管期間、閲覧できる人、取引先向けの要約の作り方を決めたか
- 回す時期(公開前・モデル変更前・定期)と、回す人・決める人を規程に書いたか
- 題材:AIに渡す問いと、理想の答えや採点の手がかりの組。Inspect ではデータセットと呼ぶ
- 解き方:AIが答えを作る手順。一回の問いかけから、道具を使うエージェントまで含む
- 採点:答えを評価する部品。文字の比較、AIによる採点、独自の方法がある
- 隔離環境:評価中のAIが動かすコードを、社内の環境から切り離して動かす場所
- 標準誤差:結果のばらつきの目安。幅が大きいほど、件数を足さないと結論が出せない
まとめ
Inspect は、英国AIセキュリティ研究所が公開したAIとエージェントの評価の枠組みです。MITライセンスのOSSで、題材・解き方・採点を組み合わせ、隔離環境での試験や操作の承認、評価の記録まで備えています。公的機関製であることは、道具が特定の提供元に偏っていないという安心にはなりますが、合格のお墨付きにはなりません。既成の評価は足切りと比較の目安にとどめ、自社の題材を足し、AIの採点は人の採点と突き合わせ、合格の線は回す前に人が書く。そのうえで版を固定し、回す時期と担当を規程に書けば、選定から導入後の見張りまで、同じ物差しで説明できるようになります。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
あなたのWebサイトは、AIによる攻撃に耐えられますか?
AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。
