Calvin Risk導入前の確認項目一覧｜AIの点数で承認しない

「AIのリスクを外部の基盤で点数にしてもらえば、社内の承認はその点数で回せるのでは」「試験のために問い合わせの記録を渡してよいのか、誰に確かめればいいのか分からない」——生成AIや会話AIを社外向けに出す準備を進める会社で、法務・情シス・マーケの間を行き来する声です。スイスの Calvin Risk は、AIに現実に近い場面を大量に流して振る舞いを試験し、点数と監査に使える記録に変える基盤で、2026年9月17日には情報セキュリティの国際規格 ISO/IEC 27001 の認証取得を公表しました。ただ、点数を出すのが外部の基盤でも、何を良しとするかの物差しと、出してよいかの判断は自社に残ります。この記事では、社内のAIを出す前の試験と点数化を Calvin Risk のような外部の基盤に任せるとき、物差しを誰が決め、点数のどこで人が止め、何が社外に渡り、監査記録をどう使うかを、確認項目の形で整理します。

Calvin Risk は、AIの振る舞いを試験して記録に変えるスイスの基盤

Calvin Risk は、スイスのチューリッヒに本社を置く Calvin Risk AG が提供する、企業のAIの品質保証の基盤です。公式の発表によれば、2022年にスイス連邦工科大学チューリッヒ校（ETH）からの分社として創業しました。公式サイトは自社を「企業のAIのための品質保証の層」と説明し、製品をAIの試験とAIの統制の二つの柱に分けています。日本語の解説記事はほとんどなく、国内ではまだ名前が知られていない段階です。

公式サイトに並ぶ顧客は保険・銀行・資産運用が中心で、英国の大手保険会社や、欧州の大手保険グループ傘下のデジタル子会社、ドイツの航空会社系のIT企業などの事例が紹介されています。2024年11月に400万ドルの資金調達を発表し、2025年4月にはスイスのイノベーション振興機関から175万ドルの研究助成を受けて「AIモデルの検証とリスクの定量化」の研究計画を進めると公表しました。2026年には、Gartner の新興企業調査（AIの信頼・リスク・セキュリティ管理の分野で資金を集めた企業の調査）で、統制の柱に入る10社の一つとして取り上げられたと公式ブログで紹介しています。

鮮度の面では、2026年9月17日に ISO/IEC 27001:2022 の認証を取得したと公式に発表しました。認証の範囲は「AIの統制、リスク管理、モデル試験のための Calvin の基盤の開発・安全な運用・技術支援」とされています。金融の顧客が多い会社ですが、この記事では業種を問わず、マーケの生成AI、問い合わせ対応の会話AI、社内のAIエージェントを出す前の試験を外部に任せるかという観点で読みます。リスク評価の進め方そのものの一般論は別の記事で扱っているため、ここでは外部の基盤に任せる場合に固有の判断に絞ります。

公式資料で確かめた試験の流れ：場面、評価、点数、記録、統制

公式サイトの試験の説明は、五つの段に分かれています。一つ目は場面づくりで、実際の業務に近い入力、まれな入力、意図的に崩した入力をそろえます。二つ目はその場面を対象のAIの版ごとに大量に流す評価、三つ目は性能・安全性・公平性などを点数にしてリスクの信号にする段、四つ目は再現できる監査用の記録を残す段、五つ目はその記録を承認・監督・法令対応の判断につなぐ段です。公式は「数千の現実的な場面」で試すと説明し、70を超える指標を用意していると書いています。

評価の軸として挙げられているのは、性能と信頼性、入力の揺れへの強さ、利用者の層による差（公平性）、脱獄や指示の乗っ取り・作り話などの安全性、根拠をたどれるか（資料を検索して答える方式の回答が、資料に忠実か）の五つです。2025年4月の発表では、評価対象のAIを接続口（API）経由で呼ぶか、モデルを持ち込む形でつなぎ、業務の文脈情報から正解付きの試験データを自動で作ると説明していました。保険のデジタル子会社の事例では、AI担当者が「入力をわざと崩して試験データを増やす作業を、丸ごと任せられた」と述べています。

会話AIについては、公式の資料室に、多ターンの会話を人工的に作って会話AIを機能試験する研究や、人と会話AIのやり取りをAIに演じさせる研究（2025年7月公開の論文で、同社の創業者らが共著者）が並んでいます。この論文の要旨は、長い会話を自然で一貫したまま保つことが、試したどのモデルにも共通の課題だと認めています。自動で作った会話は、本物の顧客の会話の代わりにはならないという前提を持っておくと、点数の読み方を誤りません。

誤解：「外部の基盤で点数が付けば、出してよいかが決まる」

試験の基盤を入れる議論でもっとも多い誤解は、点数が高ければ出してよい、低ければ止める、という自動の判定を期待することです。公式サイトにも「測定できる確信で、本番への投入に関門を設ける」という表現があります。ただ同じ公式サイトは、自動で試験を回す層とは別に「何を測るべきかを決める専門家の層」があり、評価の設計、リスクの基準と閾値、業務に固有の判定の論理は専門家が決めると説明しています。点数は、その設計の上でしか意味を持ちません。

つまり点数が示しているのは、「この場面の集まりを、この物差しで測ると、この程度だった」という事実です。試していない場面、たとえば自社の新商品についての問い合わせ、季節ごとのキャンペーンの文言、取引先に固有の言い回しで何が起きるかは、点数に入っていません。点数が高いことと、まだ試していない場面で安全なことは別です。

ここを取り違えると、二つの失敗が起きます。一つは、点数を通行証にして、物差しを見直さないまま新しい用途に広げてしまうこと。もう一つは、点数が低い項目を「基盤の判定だから」と説明抜きで止め、現場が試験そのものを避けるようになることです。どちらも、点数を判断の材料ではなく判断そのものとして扱った結果で、AIに判断させないという原則を、試験の場面でも守る必要があります。

マーケの生成AI・会話AI・エージェントで、点数にしやすいものとしにくいもの

外部の基盤に任せる価値は、AIの用途によって変わります。公式サイトが対象として挙げるのは、会話AI（社内外の相談役・補助役）、書類からの情報の抜き出し、長い報告書の生成、複数の手順を踏むエージェントの四つです。BtoBのマーケの現場に引き寄せると、次の表のように整理できます。

AIの用途	点数にしやすいもの	点数にしにくいもの	人が見る範囲
問い合わせ対応の会話AI	資料にない回答の作り話、禁止した話題への応答、指示の乗っ取りへの耐性	言い回しの感じの良さ、自社らしさ	価格・契約・法令に触れる回答は人が確認
マーケの文章生成	禁止表現の混入、事実と違う数字、競合への誹謗	訴求の強さ、ブランドの声	景品表示法に関わる表現は法務が確認
社内検索・要約	資料への忠実さ、出典の示し方	要点の選び方	経営判断に使う要約は元資料と突き合わせる
複数手順のエージェント	途中で止まるか、同じ入力で同じ動きをするか	想定外の道具の使い方	外部への送信や記録の書き換えの前は人が承認

点数にしやすいのは、正解か不正解かを決められる項目です。問い合わせ対応で、資料に書いていない保証期間を答えてしまう、競合の悪口を言う、といった失敗は、場面を作れば件数として数えられます。逆に「自社らしい言い方か」「この訴求は強すぎないか」は、物差しを言葉で定義しきれないため、点数にしても揺れます。点数にしにくい項目を無理に点数にしないことが、外部に任せる範囲を決める第一歩です。

エージェントについて、公式は「複数手順の安定性」を試験の観点に挙げています。エージェントの評価の作法そのもの（何件の題材で何を測るか）は別の記事で扱っているため、ここでは繰り返しません。外部の基盤に任せる場合に固有の論点は、エージェントが外部に送信する・記録を書き換える直前の動きを、試験の環境でどこまで再現できるかです。本番の道具につないだまま外部から試験させない設計が要ります。

物差しを誰が決めるか：基盤の専門家、業務担当、リスク管理

公式サイトは、Calvin Risk の専門家が顧客と一緒に「良いAIの振る舞いとは何か」を定義し、それを継続的に測ると説明しています。外部の専門家が評価の設計に入るのは大きな利点ですが、物差しの持ち主が曖昧になる原因にもなります。試験の場面と合格の基準を基盤側が作り、社内の誰も理由を説明できないまま点数だけが回り始めると、監査で「なぜこの基準なのか」と聞かれたときに答えられません。

物差しは三者で分けて持つのが現実的です。業務担当（マーケ・カスタマーサポート）は、どんな失敗が業務上困るかを具体例で出します。リスク管理・法務は、どの失敗は一件でも許されないかを決めます。基盤の専門家は、それを試験の場面と指標に翻訳し、似た用途での相場を示します。最後に基準へ署名するのは社内の責任者で、基盤側ではありません。

物差しは文章で残します。たとえば「価格に関する質問に、公式の価格表にない金額で答えたら1件でも不合格」「出典を示さない回答の比率が一定を超えたら人の見直しに回す」のように、点数の閾値と、その閾値を選んだ理由を一緒に書きます。理由のない閾値は、担当者が替わった瞬間に誰も変えられなくなるか、根拠なく緩められるかのどちらかになります。基盤の画面に入力した基準の写しを、社内の規程の側にも置いておくと、基盤を替えても物差しが残ります。

点数で承認を自動化しない線

試験の基盤を本番投入の関門にするときは、点数の扱いを三段に分けておきます。一段目は「止める」で、一件でも許されない失敗（個人情報の出力、価格や契約条件の作り話など）が出たら、点数の合計に関係なく出しません。二段目は「人が見直す」で、閾値の近くにある項目や、前回から大きく動いた項目は、業務担当とリスク管理が会話の中身を読んでから判断します。三段目は「通す」で、それ以外を承認者が記録を見たうえで承認します。

この三段の運用で、避けたい形があります。

• 点数の合計が基準を超えたら、承認者の確認なしで本番に反映される設定にする
• 不合格の項目を「基盤の判定だから」という理由だけで差し戻し、どの会話のどこが問題だったかを開発側に見せない
• 点数を上げるために、落ちた場面を試験の集まりから黙って外す
• 前回の点数と比べず、その回の点数だけを見て承認する

三つ目の「落ちた場面を外す」は、外部の基盤を使うと気づきにくくなります。試験の場面の追加や削除は基盤の画面の中で起きるため、変更の記録を誰がいつ見るかを決めていないと、点数が良くなった理由が「AIが良くなった」のか「試験が甘くなった」のかを区別できません。試験の場面の増減は、点数の変化と同じ重さで承認の対象にすると決めておくのが安全です。

何が社外に出るか：接続口、業務の資料、会話の記録

外部の基盤に試験を任せると、社外に出るものが三種類あります。一つ目は、対象のAIへの接続口です。2025年4月の発表では、接続口経由でAIを呼ぶ形と、モデルを持ち込む形が説明されています。接続口を渡す場合、試験のために本番と同じAIを外から何千回も呼べる鍵を渡すことになります。二つ目は、正解付きの試験データを作るための業務の文脈情報で、製品資料、よくある質問の回答集、社内規程などが当たります。三つ目は、試験の結果として生まれる、AIの回答と会話の記録です。

公式サイトの公開情報では、データの保管場所、保持期間、提供の形（クラウド型か、自社環境への設置か）は確かめられませんでした。ISO/IEC 27001 の認証は、情報セキュリティの管理の仕組みが運用されていることを第三者が確かめたものであり、データがどの国に置かれるかや、いつ消えるかを保証するものではありません。公式の発表も、この認証を、顧客の法務・調達・情報セキュリティの部門による取引先審査を助けるものと位置づけています。

そのため、契約前に文書で確かめる項目は決まっています。接続口の鍵は試験専用に発行して本番の鍵と分け、呼び出し回数の上限と有効期限を付けられるか。渡した資料と試験の記録はどの国のどの事業者の基盤に置かれ、契約終了後いつまでに消えるか。試験の中で回答の採点に別の生成AIを使っているなら、その採点役のAIはどの提供者のもので、会話がどう渡るか。採点役のAIに会話が渡る経路は、取引先審査の質問票から漏れやすい点です。

過去の問い合わせで試験を作るときの、個人情報の扱い

問い合わせ対応の会話AIを試験するとき、もっとも現実に近い題材は過去の問い合わせの記録です。ただし、そこには顧客の氏名や連絡先、契約の中身が含まれます。日本の個人情報保護法では、外国にある第三者に個人データを提供する場合、本人の同意を得るか、相手が個人情報保護委員会の規則に沿った体制を整えていることなどが求められます。委員会が日本と同等の水準にあると認めているのは欧州経済領域の国々と英国で、スイスはこの指定に含まれていません。最新の扱いは、委員会の公表資料で確かめてください。

実務では、過去の問い合わせは、氏名・連絡先・契約番号を伏せてから試験の題材にするのが基本です。伏せる作業そのものをAIに任せる場合も、漏れがないかを人が抜き取りで確かめます。試験に必要なのは「どんな聞き方をされるか」であって「誰が聞いたか」ではないため、伏せても試験の価値はほとんど落ちません。伏せた後の題材であっても、契約や取引先の固有名が残っていないかは法務が一度目を通します。

もう一つの選択肢は、人工的に作った会話だけで試験することです。Calvin Risk の研究は、実際のやり取りを種にしてAIに利用者役を演じさせる方法を扱っていますが、前述のとおり、長い会話の自然さには限界があると研究者自身が認めています。人工の会話で広く試し、伏せた本物の会話で要所を確かめるという組み合わせが、個人情報を外に出さずに試験の質を保つ現実的な線です。

監査記録を、誰が何のために読むか

Calvin Risk の統制の側は、AIの台帳、リスクの区分、試験結果に結び付いた記録、承認・差し戻し・上申の流れを一か所にまとめると説明しています。公式は、新しい高リスクのAIが区分されて本番前の審査に回る、モデルの更新が本番に届く前に再評価される、規制当局から求められたら判断の経緯を出せる、といった使い方を挙げています。

記録は、読む人によって使い方が違います。内部監査は、承認の判断が決めた物差しに沿っていたかを見ます。法務は、顧客に誤った説明をしてしまった場合に、事前にどこまで試していたかを見ます。経営は、どのAIがどのリスクの区分にあり、何件が見直し待ちかを見ます。記録の項目を、読む人の問いから逆算して決めると、記録が増えても使える状態を保てます。

注意したいのは、記録が自動で生成されるほど、中身が読まれなくなることです。点数の推移の図と、落ちた場面の会話の実物は別物で、後者を読まないと何が問題だったのかは分かりません。四半期に一度、承認者が落ちた場面の会話を数件ずつ実際に読む、と決めておくだけで、記録が形だけになるのを防げます。記録は人の確認の代わりではなく、人が確認したことを後から示すためのものです。

試験をやり直す引き金：モデル、指示文、資料、用途

公式サイトは、指示文、データ、モデル、業務の流れが変わるたびにリスクがどう変わるかを追い、本番の運用中も振る舞いのずれを早めに見つけると説明しています。ただ、外部の基盤に任せる場合でも、やり直しの引き金を社内で決めておかないと、試験は導入時の一回で終わってしまいます。

引き金は、次の四つに分けて決めます。

1. 土台のモデルが変わったとき（提供者による版の更新を含む。告知が分かりにくい更新もあるため、定期の再試験も併せて置く）
2. 指示文（システムへの指示）や回答の型を変えたとき
3. 回答の根拠にする資料（価格表・規程・製品資料）を差し替えたとき
4. 用途を広げたとき（社内向けを社外向けに、問い合わせ対応を見積もりの補助に、など）

四つ目の用途の拡大は、点数が良いまま見過ごされやすい引き金です。社内向けで高い点数を取った会話AIを社外に出すときは、試験の場面も物差しも作り直しになります。用途が変われば、点数は持ち越さないと規程に書いておくと、現場の判断がぶれません。

費用の増え方と、止め方・やめ方

料金は公式サイトに掲載がなく、問い合わせと実演の申し込みから見積もる形です。この種の基盤の費用は、一般に、試験するAIの数、流す場面の量、専門家による評価設計の時間で増えていきます。Calvin Risk は自動の試験と専門家の層を組み合わせると説明しているため、専門家の関与がどこまで定額に含まれるかを最初に確かめておくと、二年目以降の費用が読みやすくなります。

対象のAIを外から何千回も呼ぶ試験は、AIの提供者に払う利用料も増やします。試験の費用は基盤への支払いだけでなく、自社が契約している生成AIの呼び出し料金にも跳ね返るため、試験一回あたりの呼び出し回数と月の上限を、財務と合意しておく必要があります。再試験の引き金を増やすほど、この呼び出しも増える点に注意します。

やめ方も先に決めておきます。契約を終えたとき、試験の場面の集まり、物差しの定義、過去の点数と記録を、自社で読める形で持ち出せるか。持ち出せないと、監査で過去の判断を説明する材料が、基盤と一緒に消えてしまいます。止め方としては、接続口の鍵を失効させれば基盤から対象のAIを呼べなくなる構成にしておき、その手順を情シスが持っておきます。

運用を定着させる段取り：最初の90日

外部の試験基盤は、入れた直後よりも半年後に形だけになりやすい道具です。運用の定着を目的に、最初の90日を次の段取りで進めると、点数と判断の結び付きが社内に残ります。

一つ目の対象で90日回すと、物差しの書き方と承認の流れの型ができます。二つ目以降はその型を写すだけで済むため、対象が増えても、専門家の時間に頼り切らずに済みます。逆に、一つ目で会話の実物を読む工程を省くと、点数の読み方が社内に育たないまま対象だけが増えていきます。

導入前の確認項目一覧

ここまでの論点を、契約前と運用開始前に確かめる項目として並べます。社内の稟議に添付し、項目ごとに担当と答えを書き込む使い方を想定しています。

• 試験の対象にするAIと用途を、一つずつ台帳に書いたか
• 一件でも許されない失敗を、業務担当とリスク管理・法務で具体例にしたか
• 合格の基準と、その基準を選んだ理由を文章にし、社内の責任者が署名したか
• 点数を「止める」「人が見直す」「通す」の三段に分け、自動承認にしていないか
• 試験の場面の追加・削除を、点数の変化と同じく承認の対象にしたか
• 試験専用の接続口の鍵を発行し、回数の上限・期限・失効の手順を決めたか
• 渡す資料と試験の記録の保管場所・保持期間・消去の時期を文書で確かめたか
• 過去の問い合わせを題材にするとき、個人の情報を伏せ、越境の扱いを法務が確かめたか
• 採点に別の生成AIを使う場合、その提供者と会話の渡り方を確かめたか
• 再試験の引き金（モデル・指示文・資料・用途）を規程に書いたか
• 契約終了時に、場面・物差し・点数・記録を持ち出せるかを確かめたか
• 承認者が、落ちた場面の会話を定期的に読む日を決めたか

すべてに答えが出ていなくても導入は始められますが、答えが出ていない項目は「未決」として台帳に載せ、期限と担当を決めておきます。未決のまま放置された項目が、後の監査でいちばん説明しにくい部分になります。

• 会社の沿革・資金調達・助成は公式の発表（2024年11月、2025年4月）、認証は2026年9月17日の公式発表、試験と統制の仕組みは公式サイトの製品ページによる
• 料金、データの保管場所、日本語への対応は公式の公開情報では確かめられなかった。実演と見積もりの段階で文書による回答を求める

よくある質問

金融の会社でなくても使えますか

公式の事例は保険・銀行・運輸が中心ですが、対象として挙げる会話AI、書類の抜き出し、報告書の生成、エージェントは業種を問いません。ただ、試験の場面の雛形や業界の相場は金融で厚いと考えるのが自然で、マーケの文章生成のような用途では、物差しを自社で作る比重が大きくなります。

欧州のAI法への対応に使えますか

公式は、欧州のAI法や米国標準技術研究所（NIST）のAIリスク管理の枠組みに沿ったリスクの観点を持つと説明しています。欧州の利用者向けにAIを出す日本の会社にとっては参考になりますが、法令上の義務を満たすかどうかの判断は、法務と外部の専門家が行うものです。基盤の記録は、その判断の材料にとどまります。

社内で試験の仕組みを作るのと何が違いますか

場面の自動生成、指標の蓄積、記録の様式を一から作らずに済む点が違いです。一方で、物差しの定義と承認の判断は社内に残るため、外部に任せて減るのは作業であって、責任ではありません。社内に評価の担当者がいない会社ほど、外部の専門家の層の価値は大きくなります。

日本語の会話AIでも試験できますか

公式サイトでは、日本語への対応は確かめられませんでした。敬語や言い回し、日本の法令に固有の表現が試験の場面に反映されるかは、実演の段階で自社の伏せた会話を使って確かめてください。人工的に作られる会話が日本語として自然かどうかも、業務担当が読んで判断する項目です。

まとめ

Calvin Risk は、AIに現実に近い場面を大量に流して振る舞いを点数にし、監査に使える記録と承認の流れにつなぐスイスの基盤で、2026年9月には ISO/IEC 27001 の認証も取得しました。試験の作業を外部に任せられる価値は大きい一方で、点数が意味を持つのは、自社が決めた物差しと、自社が選んだ場面の上だけです。物差しは社内の責任者が署名し、点数は止める・人が見直す・通すの三段で扱い、自動承認にしない。渡す鍵・資料・会話の記録の行き先と消える時期を契約前に確かめ、過去の問い合わせは伏せてから題材にする。モデル・指示文・資料・用途が変わったら試験をやり直し、承認者が落ちた場面の会話を自分の目で読む。この線を先に引いておけば、外部の試験基盤は、判断を肩代わりする道具ではなく、判断の根拠を残す道具として社内に定着します。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。