AI監査は社内か第三者のEticasか｜外部評価が効く場面

「AIの検査は開発チームがやっているので、外の会社にお金を払ってまで評価してもらう理由が分からない」「取引先から第三者の評価を求められたが、何をどこまで頼めばよいのか見当がつかない」——AIを業務や製品に組み込んだ企業の情報システムや法務、AI推進の担当からは、この二つが続けて出てきます。社内の検査があれば第三者は要らない、と考えられがちです。しかし社内の検査と第三者の評価は、そもそも答えている問いが違います。この記事では、本番で動くAIを外から継続的に評価するスペイン発の Eticas を例に、社内の検査で足りる場面と第三者に評価させるべき場面、リスク分類を外部の物差しに合わせる意味、評価のために外へ渡すもの、合否と是正を誰が持つか、費用とやめ方を比べて整理します。

Eticas は、本番で動くAIを外から評価する会社

Eticas は、スペインで生まれたAIの評価と監査の会社です。公式サイトでは、自社の仕事を「本番で動くAIを、継続的に、独立した立場で、社会と技術の両面から評価すること」と説明しています。2012年から独立した評価を続け、4つの大陸の顧客、15を超える業界で200を超えるシステムを評価してきたと公表しています。設立の経緯は財団の活動から事業会社に移った流れがあり、資料によって年の書き方が違うため、ここでは触れません。

評価の対象は三つに分けられています。一つめは、分類や点数付け、意思決定の支援に使う予測型のAIで、データの質、判定の閾値、説明のしやすさ、集団ごとの偏り、人の確認が結果を変えているかを見ます。二つめは、生成AIや社内文書を引いて答える仕組みなど言語モデルを使うAIで、誤った回答の率、回答の一貫性、引いてくる文書の質、指示文への攻撃への強さ、情報の漏れを見ます。三つめは、自律的に動くエージェントや、道具を使いながら何段も処理する仕組みで、行動を後から追えるか、目的からずれないか、失敗の仕方、人の監督が足りているかを見ます。

つまり Eticas は、評価用のソフトウェアを売る会社というより、専門家が手法と道具を使って評価を行う会社です。自社の基盤の上で専門家が試験を設計して実行し、結果を記録する前に確かめると説明しています。この点は、自社で動かす監査の基盤を選ぶ場合とは前提が違います。人が評価の中身を持つ外部の評価者として見るのが正確です。

2026年の動き：リスク分類の公開と、IBMの道具箱への収録

2026年7月10日、Eticas は自社のAIリスク分類を論文とともに公開しました。公表された第2版は、上位10の区分、20の中区分、76の小区分からなり、小区分の一つひとつが一つの方法で試験できる大きさに切ってあるのが特徴です。偏りと公平性、プライバシーと秘密、ガバナンス、セキュリティと悪用に並んで、エージェント型のAIを独立した区分にしています。分類の構造はクリエイティブ・コモンズの表示の条件で公開され、機械で読める識別子が付いています。

9月15日には、この分類がIBM研究所の公開しているAI統治のオープンソースの道具箱に収録されたと発表しました。発表では、偏りと公平性、プライバシーと秘密、信頼性、ガバナンス、セキュリティと悪用、環境への影響、透明性と説明可能性、エージェント型AIの8つの次元を挙げています。7月の論文の10区分と数が違うのは、まとめ方の違いと考えられます。道具箱の利用者は、自社のモデルのリスク評価にこの次元を当てはめて使えると説明されています。

このほかにも、8月にはAIの保証に取り組む業界の枠組みの創設メンバーに加わったこと、7月には英国のAI保証の関係者による協議体の立ち上げに最高経営責任者が参加したこと、9月には米国の州ごとのAI規制の整理を公開したことを、公式サイトで報告しています。評価の物差しを自社の中に閉じず、外部の枠組みに載せていく方向がはっきりしています。

公式サイトで確かめられる2026年後半の主な発表を、日付順に並べておきます。いずれも同社の公式の記事一覧に載っているものです。

• 7月10日　AIリスク分類の第2版と、試験の方法を説明する論文を公開
• 8月14日　公的な職業紹介機関の採用の仕組みを評価した手法を公開（後の章で詳しく扱う）
• 8月25日　AIの保証に取り組む業界の枠組みに創設メンバーとして参加
• 9月3日　米国の州ごとのAI規制の動きを整理した記事を公開
• 9月15日　リスク分類がIBM研究所のAI統治の道具箱に収録されたと発表
• 10月30日　医療や航空の安全の考え方を技術の監査に当てはめる講演の記事を公開

「社内で検査していれば、第三者は要らない」は半分だけ正しい

社内で検査をしていれば第三者は要らない、という考えは、半分は正しいものです。AIの精度や応答の速さ、明らかな誤りの検出は、開発と運用のチームが毎日見るべきもので、外部に任せる性質のものではありません。日々の品質を外部の評価で代わりにすることはできません。年に一度の第三者の評価で、毎日の確認を置き換えることはできないのです。

一方で、間違っている半分もあります。一つは、自分たちで作った物差しで測ると、物差しに入っていない危険には気づけないことです。偏りを性別だけで見ていれば、年齢と性別の重なりで起きる差は見えません。もう一つは、社内の検査の結果は、どれだけ丁寧でも、社外の人が信じる根拠にはなりにくいことです。取引先や規制当局、利用者が知りたいのは「誰が、どの物差しで、どこまで確かめたか」です。

さらに、開発したチームが自分たちの成果物を評価すると、厳しい結果を出しにくいという構造の問題もあります。これは担当者の誠実さとは関係ありません。社内の検査で足りるかどうかは、結果を誰に見せるのかで決まると考えると、比較の軸がはっきりします。

社内の検査と第三者の評価を、並べて比べる

社内の検査と第三者の評価を、役割の違いで並べると次のようになります。どちらが優れているかではなく、どちらが何に答えるかの違いです。

比べる点	社内の検査	第三者の評価（Eticas のような外部）
答える問い	いま正しく動いているか	社外の人が信じてよいか
頻度	毎日・変更のたび	年1回の評価＋合意した間隔の点検
物差し	自社で決めた指標	公開された分類と外部の規制・規格への対応
見つけやすいもの	精度の低下・明らかな誤り・障害	測っていなかった危険・集団ごとの差・構造の問題
結果の使い道	修正と運用の判断	取引先・規制・保険・利用者への説明
弱み	自社の物差しの外は見えない	毎日の変化は追えない。外にデータを渡す必要がある

表で見ると、二つは置き換えではなく補い合う関係だと分かります。社内の検査を土台にして、外に説明する必要が生じた部分だけを第三者の評価に回すのが、費用の面でも筋の通った分け方です。

比べるときの落とし穴は、第三者の評価を「社内の検査の上位版」と考えることです。外部の評価者は、社内の運用の細かい事情や、日々のデータの変化を知りません。その代わりに、社内では当たり前になっていて誰も疑わない前提を、外から問い直せます。役割が違うものを、同じ物差しで比べないことが大切です。

比べ方そのものを誤ると、どちらを選んでも失敗します。よく見かける誤りを挙げておきます。

• 第三者の評価を受けたことを理由に、社内の毎日の確認を減らす
• 評価の証票を「このAIは安全だ」という保証として取引先に示す
• 見積もりの安さだけで評価者を選び、使う物差しと評価の範囲を確かめない
• 社内の検査の指標をそのまま外部の評価者に渡し、同じ物差しで測ってもらう

最後の誤りは見落とされがちです。社内の指標をそのまま渡すと、外部の評価者も社内と同じ範囲しか見なくなり、外の物差しを当てる意味が消えます。社内の指標は参考として渡し、評価の物差しは公開された分類に合わせてもらいます。

第三者が効く場面1：取引先や顧客に「大丈夫だ」と示すとき

第三者の評価が最も効くのは、自社のAIを組み込んだ製品やサービスを、取引先や顧客に使ってもらう場面です。BtoBの取引では、調達の審査でAIの扱いを問われることが増えています。社内の検査の報告書を出しても、相手は中身を確かめる手段を持ちません。外部の評価者が、公開された物差しで評価した結果であれば、相手の審査の手間も減ります。

Eticas は、評価の結果として、技術者以外にも読める概要と、技術の詳細を載せた報告書を出すとしています。さらに、日付の入った証票を発行し、既定では1年間有効で、公開の場に掲示して評価の結果に結び付けられると説明しています。証票は「この日付時点で、この範囲を評価した」という意味であり、その後の変更まで保証するものではありません。取引先に示すときは、評価の範囲と日付を必ず添えます。

逆に、社内だけで使う業務の補助や、影響の小さい用途のAIに、最初から第三者の評価を求める必要は薄いでしょう。外に示す相手がいないなら、評価の費用に見合う使い道がないからです。

第三者が効く場面2：採用・与信など、人の人生に触れるAI

二つめは、採用の選考、融資や与信の判断、保険の引き受け、行政の給付の判断など、AIの判定が個人の人生に直接影響する場面です。こうしたAIでは、特定の集団が不利に扱われていないかが問われます。偏りの検査は、検査する側の物差しによって結果が大きく変わるため、利害のない第三者が行う意味が大きくなります。

欧州のAI規則は、雇用に使うAIなどを高リスクのAIとし、市場に出した後の監視を求めています。米国でも、ニューヨーク市が採用に使う自動化された判定の道具に偏りの監査を求める規則を設けており、Eticas は米国の州のAI規制の整理を9月に公開しています。日本の企業でも、海外の拠点や海外の顧客向けにAIを使う場合は、こうした規制が評価の物差しに入ってくる点に注意が必要です。

日本の国内向けのAIでも、採用や与信の判断にAIを使っていることを、応募者や顧客にどう説明するかは避けて通れません。説明の材料として、第三者が同じ方法で評価した結果があることは、社内の検査だけを示すよりも説得力を持ちます。

第三者が効く場面3：規制当局と保険への説明

三つめは、規制当局や保険会社への説明です。Eticas の分類は、欧州のAI規則、ISO/IEC 42001、米国のNISTの枠組み、OWASP のエージェント向けの指針など18の外部の枠組みに対応付けられていると公表されています。また、追加の報告書として、ニューヨーク市の採用の規則のような特定の規制に結果を対応させたものを作れると説明しています。規制ごとに一から説明資料を作らずに済むのが、外部の物差しを使う利点です。

保険については、公式サイトが独立した評価の効果の一つに「保険を受けやすくなること」を挙げています。AIの事故を補償する保険では、引き受けの審査でAIの評価の結果を求められる場面が出てきています。ただし、どの保険会社がどの評価をどう扱うかは保険会社ごとに違うため、評価を受ければ保険に入れる、と考えるのは早計です。

日本では、AI推進法と政府のAI事業者ガイドラインが、事業者の自主的な取り組みを促す形をとっています。現時点で第三者の評価を義務づける国内の法令はありません。国内向けだけのAIであれば、規制への説明を理由に第三者の評価を急ぐ必要は小さく、取引先や利用者への説明のほうが動機になります。

社内に残すべき検査：毎日の確認と、変更のたびの試験

第三者の評価を使う場合でも、社内に残すべき検査があります。一つは、毎日の動きの確認です。応答の誤り、処理の失敗、利用量の急な変化、利用者からの苦情は、運用のチームが毎日見るものです。もう一つは、モデルや指示文、参照する文書、つなぐ道具を変えたときの試験です。変更のたびに外部の評価を待っていては、改善が止まります。

社内の検査で大事なのは、第三者の評価と同じ分類の言葉で記録を残すことです。たとえば、社内の試験の結果を「偏りと公平性」「プライバシーと秘密」といった分類ごとに整理しておけば、第三者の評価のときに、どの危険を社内で見ていて、どこが手薄かがすぐに分かります。社内の検査と第三者の評価が、同じ地図の上で話せる状態にしておくのです。

社内の検査をAIに任せる場面もあります。大量の試験の問いを作らせたり、回答の誤りを一次で拾わせたりするのは効率的です。ただし、合格かどうかの判定をAIに任せないことが前提です。AIが「問題なし」と判定した結果は、人が見ていない結果と同じだと考えます。

リスク分類を、外部の物差しに合わせる意味

どの危険を数えるかを決めるのがリスク分類です。社内で独自に作ると、自社が過去に経験した事故や、担当者が知っている危険に偏ります。Eticas のように公開された分類に合わせる意味は、自社が経験していない危険まで、数える対象に入ることにあります。特にエージェント型のAIの危険は、多くの企業にとってまだ経験の少ない領域です。

Eticas は、分類を公開したときの論文で、拘束力のある主要なAI規制は、エージェント型のAIが広まる前に固まったと指摘しています。規制の条文だけを物差しにすると、エージェントが勝手に動く、目的からずれる、といった危険が抜け落ちます。規制に合わせることと、危険を漏れなく数えることは、別の作業です。

外部の分類に合わせるといっても、全部をそのまま使う必要はありません。自社のAIに関係する区分を選び、関係しない区分には「該当しない」と理由を書いておきます。Eticas の評価でも、結果には「評価した範囲」「評価しなかった範囲」「該当しない範囲」を分けて示すとしています。評価しなかったことを明示するのは、評価したことを示すのと同じくらい大事です。

「全体で合格」を信じない：段階ごとに分けて見る

第三者の評価の価値がよく分かる例が、2026年8月に Eticas が公開した事例です。バルセロナ市の公的な職業紹介機関が使う、求人に合う候補者を絞り込む仕組みを、5年分の運用データで評価しました。仕組みは、求人の受付から、担当者による検索語の選択、外部の採用支援サービスでの絞り込み、候補者の一覧の作成、雇い主の最終判断まで7つの段階からなります。

全体だけを見ると、登録者のうち女性は51.5%、採用者のうち女性は49.8%で、差は統計的に意味のある大きさではありませんでした。全体の比率だけを見る検査なら、合格と判定される結果です。ところが、段階、給与の帯、業種、年齢、性別で分けて見ると、中くらいの給与帯で女性が採用されにくい、業種によっては候補者の一覧で女性の比率が半分近くまで下がる、高い給与や常勤の職は男性に偏る、年齢と性別の不利が重なる、55歳以上の求職者がどの段階にもほとんどいない、という五つの差が見つかりました。55歳以上は市の働き手の15.6%を占めると報告されています。

この事例では、外部の採用支援サービスの中の論理は、機関も評価者も見ることができず、担当者がどの検索語を選んだかの記録も残っていませんでした。仕組みの中が見えず、人の判断の記録もないと、差の原因がAIにあるのか人にあるのかを切り分けられないのです。社内の検査で全体の数字だけを見ていた企業ほど、外からの評価で見落としが見つかる可能性が高いと言えます。

評価のために、何を外に渡すか

第三者に評価を頼むと、何らかの情報を外に渡すことになります。Eticas は、依頼主が事前に合意した秘密保持の条件のもとで「データ、文書、アクセス」を提供し、データの渡し方は複数の方法に対応していると説明しています。どの方法で、何を、どこまで渡すかは、評価の範囲を決める段階で一緒に決める必要があります。

渡すものは大きく三つです。一つは、AIの入力と出力の記録や、判定の結果のデータです。採用や与信のAIであれば、ここに個人のデータが含まれます。二つめは、AIの設計や運用の文書、変更の履歴です。三つめは、評価者がAIに試験の問いを投げられる接続です。個人のデータを渡す場合は、個人情報の取り扱いの委託として扱い、契約・安全管理・海外への移転の確認を行う必要があります。Eticas は欧州の会社なので、海外への移転の扱いも確かめます。

渡すものを減らす工夫もできます。個人を識別できる項目を外して集計した形で渡す、評価者には試験用の環境だけを開放して本番のデータには触れさせない、などです。ただし、前の章の事例のように、細かく分けて見ないと見つからない差もあるため、渡すものを減らすほど、評価で見えるものも減ることは理解しておく必要があります。

合否と是正は、誰が持つか

Eticas の評価では、評価したリスクの小区分ごとに、AからEの5段階の評価が付きます。Aは重大な発見がない状態、Eは直ちに導入を止めるべき水準とされています。あわせて、問題が仕組み全体に及ぶのか、一部に集中しているのか、単発なのかの区分も付けると説明しています。7月の論文では、各段階を事前に定義しておくことで、別の評価者が評価しても同じ結果になることを狙っていると書いています。

論文の例では、ある大規模言語モデルが、何の誘導もなければ個人情報を漏らさないのに、漏らした例を一つ見せると51%、三つ見せると84%の割合で漏らしたという既存の試験の結果を取り上げ、平均すると失敗が隠れるとしてEと評価しています。評価の段階は、平均ではなく最悪の起き方を見て付けるという考え方です。

ここで大事なのは、評価の結果を受け取った後の判断は自社が持つということです。Eの評価が出たときに導入を止めるのか、条件付きで使い続けるのか、是正の優先順位をどう付けるかは、外部の評価者でもAIでもなく、自社の責任者が決めることです。評価の前に、結果を受け取る責任者、是正を担う部署、経営への報告の経路を決めておきます。評価者の提案は優先順位付きで届きますが、それをそのまま実行計画にせず、自社の事情で並べ直します。

エージェント型のAIを評価に出すときの注意

エージェント型のAIは、評価の対象として特に難しいものです。同じ指示でも、つないだ道具や参照するデータによって行動が変わります。Eticas が評価の項目に挙げている行動の追跡のしやすさ、目的からのずれ、失敗の仕方、人の監督の十分さは、いずれも一度の試験では確かめきれません。

評価に出す前に、社内で整えておくべきことがあります。エージェントが何の道具を使えるか、どの操作に人の承認が要るか、操作の記録がどこに残るかを、一覧にしておくことです。この一覧がないと、評価者はどこから試験すればよいか分からず、評価の範囲がぼやけます。記録が残っていなければ、行動を後から追えるかという項目は、評価する前から不合格に近くなります。

また、エージェントは変更の頻度が高いため、評価した時点の構成と、いま動いている構成が違うことがよくあります。評価の証票を示すときは、評価した時点の構成を記録として残しておくことが大切です。構成を大きく変えたら、評価をやり直すか、少なくとも変更点だけの追加の評価を頼みます。

継続評価の費用・頻度と、やめ方

Eticas の評価は、範囲を依頼主と合意してから始まり、納品の後は、合意した基準に照らして定期的に点検し、性能や偏りのずれを捉えるという流れです。継続の点検は任意とされています。料金や期間は公式サイトに載っておらず、問い合わせで見積もる形です。費用は、評価するAIの数、リスクの区分の数、データの渡し方、点検の頻度で大きく変わると考えておきます。

頻度の決め方は、AIが変わる速さと、外に示す必要の強さで考えます。年に一度の取引先の審査に合わせるなら、年1回の評価と証票の更新で足ります。採用や与信のように影響が大きく、データの傾向が変わりやすいAIなら、四半期ごとの点検を足す選択肢があります。前の章の事例でも、定期的な監査だけでは時間とともに起きる変化を見逃すと指摘されています。

やめ方も先に決めます。評価をやめるときは、渡したデータの返却または消去と、その証明を求めます。評価者の環境に開いた接続は閉じます。公開していた証票は、有効期限が切れたら掲示を外し、期限の切れた証票を掲げ続けないようにします。評価で使ったリスク分類は公開されているので、外部の評価をやめた後も、社内の検査の物差しとして使い続けることができます。

依頼する前のチェックリスト

第三者の評価を頼む前に、社内で次の項目を確かめておくと、評価の範囲がはっきりし、費用も抑えられます。

• 評価の結果を誰に見せるのか（取引先・規制当局・保険会社・利用者・社内の経営）
• 評価するAIの一覧と、それぞれが予測型・言語モデル型・エージェント型のどれか
• 社内でいま行っている検査と、その記録をリスクの分類ごとに整理したもの
• 外に渡せるデータの範囲と、個人のデータを含む場合の委託契約・海外への移転の確認
• 人の判断が入る段階と、その判断の記録が残っているか
• 評価の結果を受け取る責任者と、是正を担う部署、経営への報告の経路
• 評価した時点の構成を残す方法と、評価をやり直す変更の大きさの目安
• やめるときのデータの返却・消去と、証票の掲示を外す手順

あわせて、評価の報告書を読むための言葉もそろえておきます。リスク分類は「どの危険を数えるか」の一覧、試験の手順は「危険を起こさせてみる方法」、深刻度は「起きたときの重さ」、証票は「いつ時点で何を評価したかの印」です。この4つの言葉を社内の関係者が同じ意味で使えるだけで、評価の結果をめぐる議論はかなり短くなります。

まとめ

社内の検査で足りるか、第三者に評価させるかは、AIの性能ではなく、結果を誰に見せる必要があるかで決まります。毎日の確認と変更のたびの試験は社内に残し、取引先への説明、採用や与信のように人の人生に触れるAI、規制や保険への説明が必要な場面で、Eticas のような第三者の評価を使う。公開されたリスク分類に社内の検査を合わせておけば、両者は同じ地図の上で話せます。外に渡すものは契約前に決め、合否の受け止めと是正の判断は自社の責任者が持つ。この分担を先に決めてから依頼すれば、第三者の評価は「説明のための費用」として意味を持ちます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。