Resaroの試験報告書を読み違える原因|買う側が確かめる線

「取引先から『第三者の試験機関で検証済み』という報告書付きでAIの提案を受けたが、何をどこまで確かめた結果なのか読み取れない」「認定を受けた試験機関に頼めば安心だと上から言われたが、報告書を受け取った後に何を決めればよいのか分からない」——AIを導入する側、取引先のAIを受け入れる側の調達・情報システム・法務の担当者から、聞く機会が増えた悩みです。シンガポールの Resaroは、AIを自ら作らず、第三者として試験と保証だけを請け負う会社で、2026年10月には現地の財団が始めた試験機関の認定を受けました。ただ、認定された試験機関の報告書は、AIが安全だという証明ではありません。何を、どの版で、どの題材で試したかを読み、自社の用途に当てはまる部分を買う側が見極めて初めて判断材料になります。この記事では、Resaroと認定の仕組みを公式の説明で確かめたうえで、試験報告書が判断に使えなくなる原因と、試験機関の選び方、報告書の読み方、版が変わったときの再試験の取り決め、契約への書き込み方、費用とやめ方を整理します。
カメ先生第三者の試験機関が出した報告書は、それだけで「このAIは大丈夫」という証明になると思われがちなんだ。でも実際は、決められた範囲を、決められた版で、決められた題材で試した結果にすぎない。
カメ子報告書が正しくても、自社の使い方がその範囲から外れていたら当てはまらない、ということですか。
カメ先生そう。だから受け取る側は、試験の範囲と、やっていないことと、日付を先に読む必要がある。そのうえで、自社の業務の題材で足りない部分を補うんだ。
カメ子報告書は答えではなく、読み解く材料なんですね。
- Resaroは、AIを作らず第三者として試験と保証を担うシンガポールの会社で、2026年10月に財団の試験機関認定を受けた
- 認定は試験機関の能力を一定の範囲で認めるもので、試験されたAIの安全を保証するものではないと、認定を出す財団自身が明記している
- 報告書は範囲・版・日付・題材・やっていないことを読み、自社の用途への当てはまりと再試験の取り決めを契約に書いてから判断に使う
あなたのWebサイトは、AIによる攻撃に耐えられますか?
AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。
Resaroとは:AIを作らず、試験と保証だけを担う会社
Resaroは、AIの試験と評価を専門にする会社です。公式サイトによると、シンガポールの政府系投資会社テマセクが設立した独立のAI保証の技術会社で、シンガポールとドイツのミュンヘンに共同で本社を置いています。顧客は欧州とアジアの公共部門、防衛、重要な社会基盤を担う組織が中心です。同社は自らはAIを開発も販売もしないことを、評価に利害の衝突が入らない理由として打ち出しています。AIを売る会社が自社のAIを評価する場合と違い、試験の結果で得をする立場にない、という主張です。
提供しているのは、試験の計画づくりから実行、報告までを支える基盤と、それを使った試験の請け負いです。基盤では、顧客が自分の試験用の題材と正解の一覧を持ち込み、正確さ、言い換えや揺さぶりへの強さ、根拠への忠実さ、不正な指示への耐性といった指標を設定して測ります。試験の方法は、欧州の電気通信の標準化機関が技術仕様として標準化したAIシステムの品質の指標に沿っており、Resaroはその仕様の取りまとめ役を務めたと説明しています。
つまり Resaroは、試験の「道具」と「試験を請け負う人」の両方を持つ会社です。買う側から見ると、取引先が Resaroに頼んで作った報告書を受け取る場面と、自社が Resaroに試験を頼む場面の二つがあり、この記事ではどちらにも共通する、報告書を判断に使うための読み方を中心に扱います。
2026年の動き:試験機関の認定、SAP のストア、政府系の出資
2026年の公式の発表を追うと、信頼の裏付けを積み上げる動きが続いています。4月にはシンガポール内務省系の科学技術機関と戦略提携を結び、7月にはシンガポール法律アカデミーが作った法律調査向けの質問応答AIを、現地の当局と財団が主導する保証の試行事業の中で試験した事例を公開しました。8月には、試験・評価・検証・妥当性確認の循環を解説する連載を締めくくり、10月には三つの発表を重ねています。
10月の一つ目は、AI Verify 財団の試験機関認定の取得です。二つ目は、シンガポールの防衛関連の投資機関からの戦略的な出資の発表です。三つ目は、試験の基盤を SAP のストアで提供し始めたことで、SAP のAI基盤の上で動き、外部に試験させる方式では、試験の計画は顧客の環境の中で動き、共有されるのは指標の点数だけで、モデルもデータも移さないと説明しています。報告書には経営向けの要約、リスクの指標、欧州のAI法などの規制に対応づけた付録が付き、モデルや設定を変えるたびに同じ試験を回して前回と比べられるとしています。
料金は公開されていません。買収の報道も確認できませんでした。日本の企業にとっての接点は、SAP を使っている会社が基盤を調達する場面と、シンガポールや欧州の取引先から報告書を受け取る場面が中心になると考えられます。
課題:報告書を受け取っても、導入の可否が決められない
第三者の試験報告書を受け取った担当者が困るのは、報告書が「合格」か「不合格」かで書かれていないことです。並んでいるのは、指標ごとの点数、リスクの指標、見つかった問題の一覧で、この点数なら導入してよい、という線はどこにも書かれていません。線を引くのは買う側の仕事だからです。
それでも社内では、「第三者の試験で問題なしと出た」という一文だけが稟議書に転記され、導入が決まってしまうことがあります。逆に、報告書に並んだ指摘の多さに驚いて、何が致命的で何が許容できるかを区別しないまま導入を見送ることもあります。どちらも、報告書を判断の材料として読めていないという点で同じです。
この状態が続くと、報告書に払った費用が無駄になるだけでなく、問題が起きたときに「なぜ導入を認めたのか」を説明できなくなります。報告書は、読み方を決めて初めて、導入の判断と事後の説明の両方に使える証拠になります。ここから、読み違える原因を四つに分けて見ていきます。
原因1:認定を「AIが安全だというお墨付き」と読んでしまう
最も多い読み違えは、試験機関の認定と、試験されたAIの安全を混同することです。AI Verify 財団の試験機関認定(英語の正式名称を訳すと「AI試験機関認定プログラム」、略称 AI TAP)は、AIシステムの安全性・信頼性・統治のリスクを技術的に評価できる試験機関を認める仕組みで、財団はアジアで初めての取り組みだと説明しています。審査されるのは、技術の能力、実績と現地での事業の継続、財務の健全さ、運用の体制、申告した業務範囲と実際の能力の一致です。
財団の公式ページは、この認定の限界をはっきり書いています。認定はAIシステムが完全に安全であることや、あらゆるリスクがないことを保証するものではないこと、認定は文書で定めた範囲とリスクの対象に限られること、範囲の外で生じるリスク、導入の環境の違い、他社のシステムとつないだときのリスク、審査の後の変更は対象外であること、そして残るリスクを受け入れるかどうかの責任は、調達する側の組織に残ることです。
Resaro自身も、認定の発表の中で、認定は企業や公的機関が試験機関を選ぶ際の参考になるが、特定の試験結果を保証するものではないと述べています。認定が答えてくれるのは「この試験機関に試験を任せてよいか」という問いであって、「このAIを入れてよいか」という問いではありません。この二つを分けて読むことが、出発点になります。
原因2:試験の範囲と、やっていないことを読まない
二つ目の原因は、報告書の範囲の節を飛ばして結果の節から読んでしまうことです。どんなに丁寧な試験でも、試せるのは決めたリスクだけです。Resaroが公開した法律調査向けAIの事例では、試験の対象を、答えの正しさ(根拠への忠実さと網羅性)、内部の指示文の漏えい、同じ質問や言い換えた質問への答えの安定性、という三つのリスクに絞っていました。
この絞り込みは、優先度の高いリスクに試験の手間を集中させるための正しいやり方です。しかし裏を返せば、差別的な扱い、個人情報の取り扱い、外部の道具を操作する機能などは、この試験の対象外ということになります。報告書の範囲の節を読まずに「第三者の試験済み」とだけ受け取ると、試していないリスクまで確かめたつもりになります。
受け取る側は、範囲の節に書かれたリスクの一覧と、自社が気にしているリスクの一覧を突き合わせます。報告書に「やっていないこと」の節がなければ、それ自体を試験機関か提案元に質問するのが確実です。答えが返ってこない報告書は、判断の根拠としての重みを割り引いて扱います。
ここで役に立つのが、Resaroが8月の連載で整理した言葉の分け方です。試験は振る舞いを測って証拠を集めること、評価はその証拠を要件と照らすことで、評価はさらに、作った目的どおりに動くかを見る検証と、使う目的と場面に合っているかを見る妥当性の確認に分かれます。連載は、評価は計算ではなく判断だとも書いています。第三者の試験機関が主に担うのは測ることと検証で、自社の使い方に合っているかという妥当性の確認は、使う場面を知っている買う側にしかできない部分が残ります。範囲の節を読む目的は、この残りを見つけることにあります。
原因3:試験した版・設定・日付と、自社が使うものがずれている
三つ目の原因は時間のずれです。生成AIを使った製品は、元になるモデル、内部の指示文、検索する文書、つないだ道具が頻繁に変わります。半年前の報告書が試したものは、いま提案されている製品と同じとは限りません。AI Verify 財団も、審査の後の変更は認定の対象外だと書いており、同じ考え方は個々の試験結果にも当てはまります。
Resaroの基盤が、モデルや設定を変えるたびに同じ試験を回して前回と比べる機能を前面に出しているのも、この問題があるからです。8月の連載でも、試験に合格したかどうかより、結果がこれから先の振る舞いをどこまで予測できるかが本当の問いだと書いています。報告書の日付が古いほど、その予測の力は弱くなります。
受け取る側は、報告書に記された試験の日付、試したモデルと版、設定、つないだ文書や道具を確かめ、いま提案されている構成と並べます。一つでも違えば、その違いが結果に影響するかどうかを提案元に説明させることにします。説明が付かない違いがあれば、再試験を条件にします。
原因4:題材と採点の作り方が、自社の業務と違う
四つ目の原因は、試験に使った題材と採点の方法です。第三者の試験でも、題材の多くは場面を想定した合成データで作られ、採点の一部はAIに任せます。Resaroも、法律調査向けAIの試験の進め方として、場面に基づく合成データの作成、AIによる自動採点、専門家による確認を挙げています。
同じ事例の中で Resaro自身が、汎用の合成データと試験の流れは専門分野向けに作られておらず、専門家なら気づく失敗を見逃しうると書いています。法律の概念は言い方がいくつもあり、古い判例が新しい判断で覆ることもあるからです。質問の前提を少し変えるだけで正しい答えが変わるため、題材には答えを一つに定める文脈が要るとも述べています。
これは法律に限りません。自社の業務の言い回し、社内の略語、例外の多い規程を含む問いは、外部の試験機関が作る題材には入りにくいものです。報告書の題材の作り方と採点の方法の節を読み、自社の業務の問いがどの程度含まれているかを確かめることが、当てはまりを判断する材料になります。正しさだけでなく、根拠の示し方と網羅性も一緒に見る必要がある、という事例の結論も参考になります。
揺さぶりへの強さの試験も、言語が変われば中身が変わります。法律調査の事例では、同じ質問を繰り返したときの答えの一致に加え、誤字、同義語、つなぎの言葉、言い換え、口調の変化といった、意味を変えない手直しで答えが揺れないかを確かめていました。日本語の業務なら、全角と半角の混在、敬語とくだけた言い方、社内の略称と正式名称の言い換えで答えが変わらないかを確かめたいところです。海外の試験機関の報告書が英語の題材だけで作られていれば、この部分は社内の試験で補う前提で読みます。
対策1:試験機関を選ぶとき、認定の範囲と有効期限を確かめる
自社が試験を頼む場合、または取引先に試験を求める場合は、試験機関を選ぶ段階から読み違えを防ぎます。認定の有無だけでなく、認定された範囲が、自社が試してほしいAIの種類とリスクに合っているかを確かめます。財団の公式ページでは、技術の審査は大規模言語モデルを使ったアプリの試験の手引きなどに照らして行うとされており、たとえば道具を操作するエージェント型のAIまで範囲に含まれるかは、試験機関ごとに確かめる必要があります。
認定の有効期間は認定日から12か月で、その後は更新の申請が要ります。申請や認定の手数料はかからないと財団は説明しています。最初に認定された試験機関には、Resaroのほか PwC などを含む5社が並んでいます。依頼の前に、認定の日付と範囲の文書を試験機関から受け取り、契約書の添付にすると、後から範囲の外だったと分かる事態を防げます。
認定は判断材料の一つにすぎません。自社の業界での試験の実績、専門家を題材づくりに関わらせる体制、報告書の見本を見せてもらえるか、といった点も合わせて比べます。Resaroのように、試験される側のAIを自ら売っていないことも、利害の衝突を見る観点として確かめておきます。
この認定は、2026年5月にシンガポールの担当大臣がAIの安全をめぐる国際的な会合で発表したと、同国の経済開発庁が伝えています。現地の当局と財団が進めてきた保証の試行事業で得た知見を土台にしたものです。財団の説明では、技術の審査は大規模言語モデルを使ったアプリの安全性と信頼性を試すための当局の手引きなどに照らして行われます。認定がどの手引きに照らして審査されたかを知っておくと、その試験機関が得意とする試験の種類が見えてきます。手引きの外にある試験、たとえば自社固有の業務規則への適合は、認定とは別に能力を確かめます。
対策2:報告書で必ず確かめる七つの項目
報告書を受け取ったら、結果の節より先に、次の七つの項目を確かめます。どれかが欠けていれば、提案元か試験機関に補ってもらってから判断に進みます。
| 確かめる項目 | 見るところ | 欠けていたときの扱い |
|---|---|---|
| 試験の範囲 | 対象にしたリスクの一覧と、優先した理由 | 自社の気にするリスクと突き合わせ、不足分を質問する |
| やっていないこと | 対象外にしたリスク・機能・使い方 | 記載がなければ書面で回答を求める |
| 版と構成 | モデル、指示文、検索する文書、つないだ道具、設定 | 提案中の構成との違いを説明させる |
| 試験の日付 | 実施した期間と、報告書の発行日 | 古ければ再試験を条件にする |
| 題材の作り方 | 件数、合成か実データか、専門家の関与 | 自社の業務の問いを足した追加試験を求める |
| 採点の方法 | 自動採点か人か、AIの採点を人と突き合わせたか | 人の確認の範囲を質問する |
| 試験機関の立場 | 認定の範囲と日付、依頼主、利害関係 | 依頼主と費用の負担者を確かめる |
最後の項目は見落とされがちです。取引先が自ら費用を払って試験機関に頼んだ報告書は、依頼主が範囲を決めています。Resaroの連載が書くように、社内の評価はどれほど丁寧でも自己申告にとどまり、認定のない保証の主張は証拠としての重みが限られるので、誰が範囲を決め、誰が費用を払ったかまで確かめて初めて、報告書の独立性を評価できます。
報告書に付く規制への対応づけの付録も、読み方に注意が要ります。Resaroの報告書は、欧州のAI法やネットワークと情報の安全に関する指令などの要件に結果を対応づけた付録を付けるとしていますが、対応づけは「この結果はこの要件に関係する」という整理であって、規制に適合しているという判定ではありません。8月の連載も、適合性の評価は認定を受けた外部の機関が証拠を審査する別の段階だと位置づけています。付録は、自社の法務が要件ごとに追加の確認を進めるための索引として使います。
対策3:自社の用途に読み替える:外の試験と社内の試験の分担
報告書がそろっても、自社の用途に当てはまるかは自社で判断します。読み替えのやり方は、報告書の範囲を「外で確かめ済みの部分」とし、残りを社内の受け入れ試験で補う、という分担です。
たとえば、外部の試験が答えの正しさと内部の指示文の漏えいを確かめていれば、社内では自社の文書を検索させたときの答え、自社の略語や例外の多い規程を含む問い、自社の利用者が実際に入力しそうな文面を中心に試します。社内の試験の題材は、業務の担当者が実際の問い合わせや過去の事例から作り、正解も担当者が決めます。外部の試験の題材をそのまま流用すると、同じ盲点を引き継ぎます。
社内の試験の結果は、外部の報告書と同じ形式の表にまとめておくと、経営への説明や事後の監査で並べて示せます。外部の報告書は「専門の試験機関が一般的なリスクを確かめた証拠」、社内の試験は「自社の用途で確かめた証拠」と役割を分けて記録しておけば、どちらか一方に頼りすぎることを避けられます。
対策4:版が変わったら再試験:取り決めを契約に書く
報告書は発行した日から古くなります。導入した後もAIの構成は変わり続けるので、再試験の取り決めを調達の契約に書き込んでおきます。書き込む順番は次のとおりです。
元になるモデルの変更、内部の指示文の大幅な変更、検索する文書の追加、新しい道具の接続、利用者の範囲の拡大など、再試験が必要になる変更を列挙します。
提供元が引き金に当たる変更をするときは、一定の日数前に通知することを契約に書きます。通知がなければ、変更前の版に戻すよう求められる形にします。
前回と同じ試験を回して比べるのか、範囲を広げるのか、試験機関は同じか、費用はどちらが持つかを決めます。
どの指標がどれだけ下がったら本番の利用を止めるかを、自社の業務の責任者が決め、契約の付属書に残します。
再試験の報告書を受け取る担当、保管の期間、監査で開示する範囲を決め、前回の報告書と並べて保管します。
ここで大事なのは、合否の線を試験機関や提供元ではなく、自社の業務の責任者が持つことです。試験機関は測る人であり、導入を続けるかどうかを決める人ではありません。AIに点数の良し悪しを判定させることもしません。点数の変化を読み、業務への影響を見積もって決めるのは人の仕事です。
人が決めること:合格の線と、残るリスクを受け入れる人
第三者の試験を入れても、決める仕事はなくなりません。AI Verify 財団が明記しているとおり、残るリスクを受け入れるかどうか、統治の仕組みをどう作るか、追加の対策を講じるかは、調達する側の責任です。社内で決めておくべきことは三つあります。
- 合格の線:どの指標がどの水準なら導入を認めるか。業務の重さに応じて、社内向けの文書検索と顧客向けの回答とで線を変える
- 残るリスクの受け入れ:報告書で見つかったが直されていない問題と、試験の範囲の外のリスクを、誰の名前で受け入れるか
- 止める判断:本番で問題が出たとき、利用を止める権限を誰が持ち、提供元にどう求めるか
このうち二つ目は、稟議の書式に欄を設けておくのが確実です。「第三者の試験済み」と書く代わりに、「範囲はこれ、やっていないことはこれ、残るリスクはこれを誰が受け入れた」と書く形にすると、後から読んだ人にも判断の根拠が伝わります。報告書の指摘のうち、どれを直させ、どれを受け入れたかの記録も残します。
- 報告書の「試験済み」の一文だけを稟議書に転記して導入を決める
- 認定された試験機関の報告書だから、範囲の節を読まずに信頼する
- 一年前の報告書を、構成が変わった現在の製品の根拠に使う
- AIの自動採点の点数だけを見て、人がどこを確かめたかを問わない
- 見つかった問題を直したかどうかを確かめずに本番に入れる
買う側が報告書を読み込む作業は、Resaroの連載の言葉でいえば、顧客や出資者が自ら行う当事者としての確認に当たります。第三者の試験はその材料を出す仕組みで、確認そのものを代わりに引き受けるものではありません。報告書を読む担当、指摘の重さを判断する担当、受け入れを決める担当を分けておくと、一人の思い込みで結論が決まることを防げます。
費用の増え方とやめ方
Resaroの料金は公開されていません。第三者の試験の費用は、一般に試験の範囲の広さ、題材を作る手間、専門家の関与の度合い、再試験の回数で増えます。とくに自社の業務に合わせた題材を作る部分と、版が変わるたびの再試験が、初回の試験より重くなりやすいところです。見積もりを取るときは、初回の試験だけでなく、年に何回の再試験を見込むかを含めて比べます。
SAP のストアで基盤を調達する場合は、試験を請け負ってもらう費用とは別に、自社で試験を回す人の手間がかかります。基盤があっても、題材と正解を作り、合否の線を引き、結果を読むのは自社の担当者です。基盤の契約は、社内で試験を回す担当と時間を確保できる見込みが立ってから結ぶのが無理のない順番です。
やめるときに困らないよう、自社で作った題材と正解の一覧、過去の報告書、合否の線の文書は、一般的な形式で自社に保管しておきます。外部に試験させる方式で点数だけを共有する形にしておけば、基盤をやめても手元の題材は残ります。試験機関を替える場合も、同じ題材で新旧の試験機関の結果を一度並べておくと、物差しが変わったことによる点数の差と、AIの品質の変化とを区別できます。
依頼・受け取りの前のチェックリストとミニ用語解説
試験を頼む前、報告書を受け取る前に、次の項目を確かめます。答えられない項目があれば、そこから決めます。
- 試験機関の認定の範囲と日付を文書で受け取り、自社のAIの種類とリスクに合うか確かめたか
- 報告書の範囲の節とやっていないことの節を、結果より先に読んだか
- 試した版・構成・日付と、いま提案されている構成の違いを説明させたか
- 題材の作り方と採点の方法、専門家の関与の範囲を確かめたか
- 自社の業務の題材で、社内の受け入れ試験を補ったか
- 再試験の引き金、事前の通知、費用の負担を契約に書いたか
- 合格の線と、残るリスクを受け入れた人の名前を稟議に残したか
- 題材・報告書・合否の線を、やめた後も使える形で自社に保管したか
- 試験機関の認定:試験を行う会社の能力と体制を、文書で定めた範囲に限って認める仕組み。試験されたAIの安全の保証ではない
- 試験の範囲:試験の対象にしたリスクと機能の一覧。範囲の外は確かめていない
- 題材:AIに渡す問いと、正解や採点の手がかりの組。合成で作るか、実際の記録から作るかで当てはまりが変わる
- 再試験:モデルや設定が変わった後に、同じ試験を回して前回と比べること
- 残るリスクの受け入れ:直しきれない問題や範囲外のリスクを、承知のうえで使うと組織として決めること
まとめ
Resaroは、AIを作らず第三者として試験と保証を担うシンガポールの会社で、2026年10月に AI Verify 財団の試験機関認定を受け、試験の基盤を SAP のストアで提供し始めました。ただし、認定は試験機関の能力を一定の範囲で認めるもので、試験されたAIの安全を保証するものではありません。報告書を判断に使えなくなる原因は、認定をお墨付きと読むこと、範囲とやっていないことを読まないこと、版と日付のずれ、題材と採点の違いにあります。試験機関は認定の範囲と日付で選び、報告書は七つの項目を結果より先に確かめ、自社の業務の題材で受け入れ試験を補い、再試験の取り決めを契約に書く。合否の線と残るリスクの受け入れは、試験機関でもAIでもなく、自社の業務の責任者が名前を残して決める。そこまでそろえて初めて、第三者の報告書は導入と事後の説明に使える証拠になります。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
あなたのWebサイトは、AIによる攻撃に耐えられますか?
AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。
