QuantPiでAIの検証証拠を作る5工程|監査に出せる形で残す

QuantPiでAIの検証証拠を作る5工程|監査に出せる形で残す

「検証の基盤を入れれば、うちのAIは安全だと取引先に言えるようになるはずだ」「第三者機関のお墨付きがある試験所の道具なら、出てきた点数をそのまま監査に出せばいい」——社内に配るAIやエージェントの説明責任を任された担当者から、こうした期待を聞くことが増えました。けれども、検証の基盤が作るのは安全の証明ではありません。基盤が作るのは、自社が決めた合格の線に対して、どこまで確かめたかを示す証拠です。線を引くのは自社で、証拠の読み方を間違えれば、数字が増えるほど判断は危うくなります。この記事では、ドイツの QuantPi が提供する検証基盤 PiCrystal を題材に、社内に配るAIの検証を開発の流れに組み込み、監査や取引先に出せる証拠を作るまでの5工程と、それぞれで人が持つべき判断を整理します。操作手順や画面の説明は扱いません。


カメ先生カメ先生

検証の基盤は、入れれば安全を証明してくれる道具だと思われがちなんだ。でも本当は、自分たちで決めた合格の線に対して、どこまで確かめたかを記録する道具なんだよ。


カメ子カメ子

線を決めるのは基盤ではなく、使う会社のほう、ということですか。


カメ先生カメ先生

そう。基盤は確かめ方を揃えて、結果に幅のある数字を付けてくれる。その幅をどう読むか、どこで止めるかは、人が先に決めておかないといけない。


カメ子カメ子

数字が出ること自体より、その数字で何を決めるかが大事なんですね。


この記事のポイント
  • QuantPi はAIの検証を一つの仕組みで行い、結果を信頼区間付きの数字で返す。ただし合格の線と、検証の範囲は自社が書く
  • MCP連携で開発の流れや管理の道具とつなげられるが、何が基盤に渡るかを先に決め、置き場所はオンプレミスも選べる
  • 認定試験所の枠組みは主に物理AI向けで、社内の生成AIの証拠がそのまま認証になるわけではない。費用とやめ方も含めて判断する

あなたのWebサイトは、AIによる攻撃に耐えられますか?

AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。

目次

QuantPi とは:企業のAIを検証する「検証の層」

QuantPi は、ドイツのザールブリュッケンに本拠を置く会社で、公式サイトでは自社を「企業AIのための検証の層」と説明しています。ドイツの情報セキュリティの研究機関から生まれたスピンオフで、欧州連合の資金支援を受けてきたと公表しています。製品の名前は PiCrystal で、公開前と公開後のAIを検証し、公開・変更・法令対応・認証の判断に使う統計的な証拠を作ることを目的にしています。

公式の説明で特徴として挙げられているのは三つです。一つ目は、種類を問わず、どのモデルも一つの検証の仕組みで扱えること。画像を見分けるモデル、表のデータで予測するモデル、文書を検索して答えるAI、文章を作るAI、エージェントまで、同じ枠組みで試せるとしています。二つ目は、すべての結果に信頼区間を付けること。三つ目は、MCPを通じて開発の流れや管理の道具につなげられることで、この連携は公式サイトで新機能として表示されています。

日本語の紹介記事はほとんど見当たらず、判断の材料は公式サイトと公式発表から組み立てることになります。機能の一覧よりも、その機能が社内のどの判断を助け、どの判断は助けないのかを見ていくのが、この記事の読み方です。

2026年の動き:3月の NVIDIA Halos 参加と、10月のテュフズードとの提携

2026年3月17日、QuantPi は NVIDIA が進める Halos のAIシステム検査ラボの仕組みに参加したと発表しました。この検査ラボは、自動運転やロボットのような物理世界で動くAIの機能安全・サイバーセキュリティ・AI法令対応を対象にした仕組みで、米国の認定機関から認定を受けたと説明されています。QuantPi は、モデルの頑健さと規制への適合について監査可能な結果を開発者に示すため、自社の検証基盤を提供するとしています。

10月13日には、ドイツの検査・認証機関テュフズードとの提携を発表しました。QuantPi はテュフズードの「カラット」と呼ばれる枠組みで、世界で最初の提携試験所になったと公表しています。発表では、当初の対象を物理AIと、機械規則などの規制がかかる産業用途に置き、構造化されたAIの試験から認証の準備までを両社で枠組みにするとしています。QuantPi の品質管理は試験所の国際規格である ISO/IEC 17025 に沿って運用していると説明されています。

ここで押さえておきたいのは、直近の大きな発表は、どちらも物理AIに軸足があるという点です。社内に配る生成AIやエージェントの検証に使う場合、この二つの発表は会社の技術と体制の裏付けにはなりますが、そのまま自社の生成AIの認証につながるわけではありません。この線は後の節で詳しく扱います。

誤解:検証の基盤を入れれば「安全の証明」が手に入る

検証の基盤を検討するとき、もっとも多い誤解は、基盤が安全かどうかを判定してくれるという期待です。実際には、基盤がやるのは、決められた条件のもとでAIを試し、結果を数字にすることです。どの条件で試すか、数字がいくつなら合格かは、使う側が書かなければ決まりません。

QuantPi の公式の説明でも、エージェントの検証は「運用で想定する範囲」の設定から始まるとされています。動かす環境、使ってよい道具、実行してよい操作、やり取りの深さの上限、途中でやめる条件を先に書く、という作りです。つまり、範囲を書かずに基盤を回しても、何を確かめたのかが説明できない結果しか出てこないのです。

  • 基盤の既定の試験を一通り回し、全部の点数が出たので「検証済み」と社内に告知する
  • 合格の線を決めないまま点数を集め、後から都合のよい線を引いて合格にする
  • 物理AI向けの認定の話を、社内の生成AIの安全性の根拠として取引先に説明する
  • 基盤が「問題なし」と返した項目を、人が一度も読まずに監査資料に貼る

このような使い方をすると、数字は増えても説明できる中身は増えません。以下の5工程は、人が決めることを先に置き、基盤には確かめ方を揃えさせる順番で組んでいます。

工程1:検証の範囲と合格の線を、自社の言葉で書く

最初の工程は、基盤を触る前に、紙の上で終わらせる仕事です。社内に配るAIが何をしてよく、何をしてはいけないかを、業務の言葉で書き出します。たとえば社内の規程を答える問い合わせAIなら、答えてよい範囲、答えずに担当窓口へ回す範囲、根拠の文書を必ず示すこと、個人の人事情報には触れないこと、といった内容です。

次に、それぞれの項目に合格の線を付けます。根拠の示されない回答の割合がいくつまでなら許すのか、回してはいけない問いをどれだけ正しく回せればよいのか。ここで大事なのは、線を引く人の名前を記録に残すことです。業務の責任者、情報管理の責任者、法務のうち、どの項目を誰が決めたのかが分からない線は、問題が起きたときに誰も説明できません。

STEP1
業務の範囲を書く

してよいこと・してはいけないこと・人に回すことを、業務の担当者が業務の言葉で書く。

STEP2
合格の線を付ける

項目ごとに許せる誤りの割合を決め、決めた人の名前と日付を残す。

STEP3
試す条件を決める

利用者の層、問いの難しさ、入力の誤字や揺れなど、どの条件で試すかを決める。

STEP4
基盤の設定に写す

ここで初めて、範囲と条件を基盤の設定に写す。写した内容を書いた人が確認する。

  • 合格の線は一度決めたら終わりではない。モデルや社内文書が変わったら見直す日を決めておく
  • 線を基盤の提案値に合わせて決めない。提案値は参考で、業務の許容度は会社ごとに違う

工程2:模擬の利用者で、全体と部品の両方を試す

二つ目の工程で、ようやく基盤の出番です。QuantPi の公式の説明では、エージェントの検証に「AIで動く利用者の模擬」を使い、実行の境界まで負荷をかけて試すとしています。人が用意できる試験の問いには限りがあるため、模擬の利用者に多様な問い方をさせて、想定していない進み方を探すわけです。

もう一つの特徴は、システム全体と、その中の部品の両方で試すことです。公式の説明では、エージェントの実行記録から、道具の選び方と理由づけの正しさ、計画と制約を守れているか、複数回のやり取りで状態を保てているか、手順と経路の効率、同じ条件で同じ進み方になるか、誤りの分解と立ち直りの安定性、という六つの観点で評価するとしています。全体で答えが合っていても、途中で許されていない道具を呼んでいれば問題です。部品ごとに見ることで、どこで崩れたかが分かります。

ただし、模擬の利用者もAIです。模擬の問い方が実際の社員の問い方とずれていれば、試験はよく見えても本番で崩れます。模擬の質そのものを評価する仕組みも公式は挙げていますが、少なくとも最初の数回は、実際の問い合わせ記録から抜き出した問いと、模擬の問いを並べて、業務の担当者が「この問い方は実際にあり得るか」を確かめておくべきです。

文書を検索して答えるAIの場合は、公式が紹介する事例から、どんな観点で試すかの見当がつきます。検索で正しい文書を拾えたか、答えが拾った文書に忠実か、問いの難しさによって質が崩れないか、特定の分野に偏っていないか、誤字の混じった問いにも耐えられるか、といった観点です。中身を開けずに外から試す方式でも評価できると事例では説明されており、社外のAIサービスを組み込んだ仕組みでも検証の対象にできる可能性があります。ただし、どの観点を重く見るかは、工程1で書いた業務の範囲から逆算して決めてください。

工程3:結果を、信頼区間付きの数字で受け取る

三つ目の工程は、結果の受け取り方です。QuantPi は、すべての結果を「指標と信頼区間の組」で返すとしています。たとえば、根拠を示した回答の割合が92パーセントだったとして、その数字が試した件数のばらつきでどの程度揺れうるかを、幅として一緒に示すという考え方です。

公式サイトは、信頼区間を付けることで「AIに採点させる方式」が実用になると説明しています。AIの採点は便利な一方で揺れがあるため、揺れの幅を数字で示せば、判断に使えるかどうかを人が見極められるという理屈です。点数だけを並べた資料と、幅の付いた資料では、監査の場で受ける質問がまるで変わります。幅があれば「この件数で、この結論は言えるのか」という問いに答えられるからです。

この工程で人がやることは、受け取った数字を合格の線と照らし合わせ、合否を記録することです。基盤が合否の判定を出す場合でも、最終の合否は、工程1で線を引いた人が記録に署名する形にしておくと、責任の所在がはっきりします。

信頼区間の読み方と、過信してはいけない線

信頼区間は便利ですが、読み方を誤ると、かえって安心しすぎる原因になります。押さえておきたい点は三つあります。

一つ目は、幅の下の端で判断することです。点数が線を超えていても、幅の下の端が線を下回っているなら、「合格とは言い切れない」と読むのが安全です。二つ目は、幅が狭いことは、試した条件の中での確かさにすぎないことです。試していない問い方、試していない文書、試していない利用者については、信頼区間は何も語りません。三つ目は、採点にAIを使っている場合、採点そのものの偏りは幅に表れにくいことです。採点役が一貫して甘ければ、幅は狭いまま点数だけが高く出ます。

読み方危ない読み方安全な読み方
点数が線を超えた合格と判断して公開する幅の下の端も線を超えているかを見る
幅が狭いどんな場面でも確かだと考える試した条件の範囲でだけ確かだと読む
AIが採点した人の採点と同じとみなす抜き取りで人が採点し、ずれを確かめる
前回より上がった改善したと報告する試験の条件と件数が同じかを先に確かめる

採点役のAIと人の採点がどれだけ一致するかは、定期的に抜き取りで確かめてください。一致の確かめ方は、評価の作り方を扱う別の記事で詳しく触れていますので、ここでは「採点役の検収は、検証の基盤の外で人がやる仕事だ」という点だけ覚えておけば十分です。

工程4:開発の流れに、合否の関門を置く

四つ目の工程は、検証を一度きりの行事にしないための仕組みづくりです。QuantPi は、合否の判定を信頼区間付きで開発の流れ(いわゆるCI/CD)や課題管理に記録できるとしており、公式サイトでは GitHub Actions、Jira、Slack などとの連携例を挙げています。

ここでの考え方は、モデルや指示文、参照する文書を変えたら、必ず関門を通らないと公開できないようにすることです。社内に配るAIは、モデルの版の更新、指示文の手直し、検索させる社内文書の入れ替えなど、変わる理由がたくさんあります。そのたびに人が手で検証を依頼する運用は、忙しい時期に必ず抜けます。

一方で、関門を自動にしすぎるのも危険です。関門が落ちたときに、誰が原因を読み、誰が例外として通すことを許すのかを決めておかないと、締め切りに追われた担当者が線を緩める操作だけを覚えてしまいます。例外で通した記録は、次の見直しの会議で必ず議題に上がるようにしておくのが、運用を崩さないための最低限の約束です。

公開した後も、関門の考え方は続きます。公式は、本番での動きを見張り、利用者の問い方や扱う文書の変化で性能がずれてきたことを検知したら、再び試験を行う仕組みを挙げています。ずれを検知したときに、誰に知らせ、何日以内に再試験の結果を見るかまで決めておかないと、知らせが届くだけで誰も動かない状態になります。再試験の間も使い続けるのか、いったん止めるのかの判断者も、ここで決めておきます。

MCPでつなぐと、何が基盤に渡るか

QuantPi は、MCPを通じて検証を「関数として呼べる」ようにしたと説明しています。社内のエージェントや管理の道具から、必要なときに検証を呼び出し、結果を受け取れるという作りです。便利になる一方で、つなぐ前に確かめておくべきことがあります。

一つは、検証のために基盤へ何を渡すかです。エージェントの評価は実行記録から行うとされているため、実行記録に社員の入力や社内文書の抜粋がそのまま入っていれば、それが基盤に渡ります。もう一つは、誰の資格でつなぐかです。開発者個人の鍵でつないだ連携は、その人が異動した後に誰も管理していない状態になりがちです。連携には部署の管理する専用の資格を使い、渡してよいデータの種類を書いた紙を添えて承認するのが安全です。

  • 実行記録に、社員の入力・顧客の情報・社内文書の本文がどこまで含まれるか
  • それを基盤に渡す前に、伏せる・要約する処理を挟むか
  • 連携に使う資格は個人のものか、部署の管理するものか
  • 検証を呼び出せるのは誰か、呼び出しの記録はどこに残るか

なお、外部の道具をMCPでつなぐこと自体の一般的な危険は、エージェントの権限を扱う記事で詳しく触れています。ここでは、検証の基盤も「社内のデータが渡る外部の道具の一つ」として扱う、という点を押さえてください。

工程5:証拠を、監査と取引先向けの形にまとめる

五つ目の工程は、結果を「誰かに見せられる形」にすることです。QuantPi は、規制の基準を試験の組に対応づけ、結果を監査に使える証拠としてまとめ、GRCと呼ばれる統制管理の道具に送れるとしています。報告の形は、経営向けの要約から技術者向けの詳細まで、目的に合わせて作れると説明しています。

ここで人が決めるのは、相手ごとに、何を見せて何を見せないかです。取引先に出す資料に、社内の試験問題や合格の線の細部まで載せる必要はありません。一方で監査には、合格の線を誰がいつ決めたか、どの条件で試したか、例外で通したものは何か、まで出せるようにしておく必要があります。工程1で名前と日付を残しておいたことが、ここで効いてきます。

また、欧州のAI法のような規制に対応づける場合でも、基準と試験の対応づけを最終的に確認するのは、自社の法務や規制の担当者です。基盤が対応表を出してくれても、その対応が自社の使い方に当てはまるかは、使い方を知っている人にしか判断できません。

エージェントの検証では、公式は結果として、失敗の原因を手順の単位で切り分けた図、使った処理量・応答の時間・手順の数といった効率の記録、状態の一貫性や外部との連携についての監査向けの証拠、そして公開してよいかの判断材料を挙げています。このうち公開の可否は、判断材料であって判断そのものではありません。部分的な失敗がどの手順で起きたかが分かれば、その手順だけを人の確認に回して公開する、という中間の選択も取れるようになります。

認定試験所の意味と限界

テュフズードの提携試験所という肩書きは、QuantPi の試験の進め方と品質管理が、第三者の検査・認証機関から一定の水準にあると認められたことを示します。公式サイトの流れ図では、QuantPi による試験、統計的に妥当な結果、監査できる試験の技術と手順、数字で示された証拠を経て、テュフズードの適合性評価、そして認証へと進む形が描かれています。

ただし、限界もはっきりさせておくべきです。まず、発表で示された当初の対象は、物理AIと規制のかかる産業用途です。社内の問い合わせAIや文書作成のエージェントの検証結果が、同じ道筋で認証につながると公表されているわけではありません。次に、試験所が認められていることと、個々の試験が自社にとって十分であることは別の話です。試す範囲を決めたのが自社なら、範囲の妥当性は自社の責任のままです。

生成AI以外の用途では、公式サイトが紹介する事例も参考になります。人材と求人を結びつけるAIの公平性について、ドイツの検査機関系のAI研究所や求人サイトの会社と組み、性別などの属性で選ばれる割合や見落とされる割合に差がないかを測り、その証拠を欧州のAI法の高リスクAIの要件に結びつける論証にまとめた事例です。採用や与信のように人の人生に関わるAIでは、数字を法的な要件に結びつける説明まで求められます。この事例は、検証の基盤がそこまでの材料を作れることを示す一方で、論証を組み立てたのは複数の専門家だったことも示しています。

取引先に説明するときは、「第三者に認められた試験所の手法で、自社が決めた範囲を検証した」と言うのが正確です。「第三者が安全を認めた」と言い換えないことが、後で説明を求められたときに自社を守ります。社内で検査するか第三者に評価を頼むかの選び方そのものは、別の記事で扱っています。

オンプレミスかクラウドか:置き場所の選び方

QuantPi は、公開クラウドでの利用に加え、HPE の私有クラウド基盤を使ったオンプレミスでの導入にも対応すると説明しています。外部とつながない隔離された環境にも置けるとしています。また、データを保持しない方針をとっており、モデル・データ・知的財産は顧客の環境に残ると公式は説明しています。シングルサインオン、役割ごとの権限管理、操作の記録にも対応するとしています。

置き場所を決める軸は、検証で何を扱うかです。公開してよい試験の問いと、匿名化した実行記録だけを扱うならクラウドで足りる場合が多いでしょう。一方、顧客との取引記録や人事の情報を含む実行記録で試す必要があるなら、オンプレミスを検討する理由になります。ただしオンプレミスは、基盤の更新や計算資源の手配を自社が持つことを意味します。情シスの手が回るかを先に確かめてください。

データを保持しない方針についても、契約書と設定で確かめるべき点があります。結果の報告書や記録はどこに保存されるのか、サポートを受けるときに何を渡すのか。公式サイトの説明だけで判断せず、契約の段階で、データの流れを図にしてもらうのが確実です。

人が判断すること、基盤に任せること

ここまでの5工程を、人と基盤の持ち分で整理すると、次のようになります。基盤に任せるのは確かめ方の統一と記録で、判断は人に残す、という線です。

工程基盤に任せること人が決めること
1 範囲と線設定の受け皿してよいこと・合格の線・決めた人の記録
2 試験模擬の利用者・全体と部品の試験模擬の問い方が現実的かの確認
3 結果信頼区間付きの数字幅の下の端で読む・合否への署名
4 関門変更のたびの自動の試験と記録落ちたときの原因の読み・例外の許可
5 証拠規制との対応表・報告書の作成誰に何を見せるか・対応の妥当性

表で分かるとおり、AIに判断させない場所は、どの工程にも必ず一つはあります。逆に言えば、人の持ち分を書いた表が作れない部署は、まだ基盤を入れる段階にない、という見方もできます。

費用の増え方とやめ方

QuantPi の公式サイトで、公開の料金表は確認できませんでした。導入は問い合わせからの個別見積もりになると考えるのが自然です。費用を見積もるときに意識したいのは、ライセンスの金額よりも、試す対象の数と、変更の頻度に比例して増える手間です。社内に配るAIが一つから五つに増えれば、範囲を書く仕事も、合否に署名する仕事も五倍になります。

さらに、オンプレミスを選べば計算資源と保守の費用が、模擬の利用者やAIの採点を多く回せば、その計算の費用がかかります。最初は一つの業務、一つのAIに絞り、1四半期ほど回してから広げるのが現実的です。

試用の段階では、検証したいAIを一つに絞り、工程1の範囲と合格の線を書いた紙を持って相談するのが近道です。何を確かめたいかが書けていれば、見積もりの前提も、試用の成否の判断もぶれません。逆に、紙がないまま試用を始めると、基盤の既定の試験を回して終わることになりがちです。

やめ方も、入れる前に決めておきます。基盤をやめても困らないように、合格の線・試験の問い・結果の記録は、自社の手元に読める形で残すこと。基盤の中にしかない形式で記録を貯めると、乗り換えたときに過去の判断の根拠を示せなくなります。MCPや開発の流れとの連携は、止める手順と、止めたときに関門をどう代替するかを紙に書いておいてください。

よくある質問

社内でAIの評価をすでにしているが、基盤は必要か

手作業の評価が回っているなら、すぐに必要とは限りません。基盤が効いてくるのは、試す対象が増えて手作業では追いつかなくなったとき、または取引先や監査に、件数と幅の付いた形で説明を求められるようになったときです。

物理AIを扱っていない会社でも検討する意味はあるか

公式は、文書を検索して答えるAI、文章を作るAI、エージェント、表のデータの予測などの用途も挙げています。ただし直近の認定の話は物理AIが中心なので、認証まで期待せず、検証の仕組みとして評価するのが妥当です。

基盤が問題なしと返したら、人の確認は省いてよいか

省くべきではありません。問題が見つからなかったことは、試した範囲で見つからなかったという意味にすぎません。合否の署名と、抜き取りでの人の確認は残してください。

エージェントの検証を頼むとき、何を用意すればよいか

公式の説明では、動かす環境、使ってよい道具、実行してよい操作、やり取りの深さの上限、途中でやめる条件といった運用の想定範囲の設定と、エージェントの実行記録が評価の材料になります。実行記録を残す仕組みがまだないなら、基盤より先にそちらを整えるのが順番です。

日本語のAIの検証にも使えるか

公式サイトで日本語への対応を明示した記載は確認できませんでした。日本語の問いと日本語の採点で期待どおりに動くかは、導入前の試用で必ず確かめてください。

まとめ

QuantPi は、社内に配るAIやエージェントを一つの仕組みで試し、結果を信頼区間付きの数字で返し、開発の流れや統制管理の道具にMCPでつなげる検証の基盤です。2026年はテュフズードの提携試験所となり、物理AIの分野で第三者の裏付けを得ました。けれども、基盤が作るのは安全の証明ではなく、自社が決めた線に対する証拠です。範囲と合格の線を自社の言葉で書く、模擬の問い方を人が確かめる、幅の下の端で読む、例外の許可者を決める、見せる相手ごとに中身を選ぶ。この5工程で人の持ち分を先に決めてから、確かめ方の統一と記録を基盤に任せてください。MCPで渡るデータ、置き場所、記録を手元に残すやめ方まで決められれば、監査や取引先に出せる証拠が、無理なく積み上がっていきます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

あなたのWebサイトは、AIによる攻撃に耐えられますか?

AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。

運営会社:株式会社デボノ

目次