AI TRiSMとは何を守る枠組みか？｜運用で保つ信頼と安全

「AIの信頼とリスクとセキュリティをまとめて管理する枠組みがある、と社内の資料で見たのですが、結局うちは何をすればいいのでしょうか」「導入のときに確認表で審査しています。それとは違うものなのですか」——情報システム部門から届く問い合わせは、だいたいこの2つのどちらかです。この枠組みは、導入の可否を決めるための新しい審査項目ではありません。動かし始めた後もずっと見続けるために、見る場所と止め方を先に割り当てておく仕組みです。この記事では、この言葉が指しているものを層ごとに分解したうえで、自社のどの用途から手を付けるかを決める順番までを整理します。

「入れるときに審査したから大丈夫」が崩れるところ

生成AIを業務に入れるとき、多くの会社は確認表を1枚作ります。扱ってよいデータの区分、出力の使い道、提供元の契約条件。項目を埋めて決裁が下りれば、その用途は確認済みになります。ところが半年後に問題が起きるのは、たいていこの確認表を通った用途のほうです。審査は入れる時点の状態を見たものであって、その後も同じ状態が続くことの保証ではありません。

崩れ方は3通りあります。1つ目は、提供元が仕様を変えたとき。応答の形が少し変わり、後ろにつないだ処理が静かに壊れます。2つ目は、使い方が広がったとき。社内向けの下書きに限るはずだった用途が、いつの間にか社外に出す文書に使われています。3つ目は、参照させる資料が増えたとき。権限の違う文書が置き場に紛れ込みます。審査のときに見た組み合わせは、3か月後にはもう存在しません。

3つに共通するのは、変わったことを誰も知らないまま動き続けた点です。変化そのものは避けられません。避けられるのは、変化に気づかないことのほうです。気づくためには、動いている最中を見る仕組みが要ります。信頼・リスク・セキュリティの管理と呼ばれている枠組みは、この「動いている最中」を担当します。以降で、その中身を層ごとに開いていきます。

この枠組みは、何を指す言葉なのか

これは、米国の大手調査会社が提唱した整理につけられた名前です。法令でも規格でもありません。AIの信頼性とリスクとセキュリティを、別々の担当が別々の物差しで見ている状態をやめ、ひとまとまりの管理として扱おうという考え方を指します。公的機関が出した基準ではないので、これに準拠している、という言い方は成り立ちません。使い道は、自社の手当てに抜けがないかを確かめるための見取り図です。

提唱元は、この枠組みを実際に運用に落とした組織では、AIの活用の広がり、事業目標との整合、利用者の受け入れが2026年までに50%改善するという予測を示してきました。ただしこれは調査会社の予測であって、測定された実績ではありません。数字そのものより、運用に落とした場合、という条件のほうが読むべきところです。資料に名前と図を貼っただけでは、この条件に当てはまりません。

この記事で扱う対象も、先に決めておきます。ここで見るのは、問いに答えを返すモデルと、それを使っている社内の用途の全体です。自ら手順を踏んで外部に働きかける仕組みには固有の統制が別に必要になりますが、それはこの記事の範囲外とします。まずは、社内で使われているモデルと用途をひとまとまりに見る、という前提だけを置いてください。

初期は4つの領域、いまは4つの層に組み替えられている

この枠組みの内訳は、提唱されてから一度組み替えられています。初期に挙げられていたのは4つの領域でした。説明可能性、モデルの運用、AIを組み込んだ機能の安全性、そしてプライバシーの保護です。並んでいるのはどれも技術側の仕事で、誰が決めるのかという層が入っていません。自社でモデルを作って動かしていた時期の整理だと考えると分かりやすいです。

2025年に示された整理では、4つの層に組み替えられています。統治の層、動いている最中の検査と実施の層、情報の取り扱いを決める層、そして土台となる基盤の層です。初期の整理との最大の違いは、動いている最中を独立した層として切り出した点にあります。入れる前の審査の後ろに、運用中の観測が同じ重さで並びました。

組み替えの背景は、使われ方の変化です。いまは外部の仕組みを呼び出して使う形が主流で、社内には誰がどの用途でどこを呼んでいるのかの一覧すら無いことがあります。だから統治の層が先頭に来て、一覧を作るところから始まる形になっています。技術の層から入らないこと自体が、この組み替えの結論です。

層に当てはめると、自社に足りていないものが見える

4つの層を、自社の手当てに当てはめてみます。次の表は、層ごとに置くもの、置いていないときに起きること、最初に確かめることを並べたものです。効いてくる順番は左から右ではなく、上から下です。一覧が無いまま検査の仕組みを買っても、何を検査すればよいかが決まりません。

層	そこに置くもの	置いていないと起きること	最初に確かめること
統治の層	社内で使われているAIと用途の一覧、用途ごとの重さ、決める人と止める人	誰がどこで何を使っているかが分からず、点検の対象が決まらない	費用の明細を部門別に洗い、名前を知らない項目を全部書き出す
動いている最中の検査と実施の層	やり取りの記録、決めた範囲を外れたときの検知、その場で止める経路	問題が起きたことに、外部からの指摘で初めて気づく	重い用途で、入力と出力が対にして残っているかどうか
情報の取り扱いの層	どのデータをどの用途に渡してよいかの区分と、渡す前の加工の決まり	渡してはいけない資料が参照先に紛れ込んだまま使われ続ける	参照させている資料の置き場に、権限の違う文書が混じっていないか
土台の層	動かす環境、接続の経路、権限の与え方と外し方	異動者や退職者の権限が残り、契約を止めても使える状態が続く	権限の一覧と、人事の異動の記録が突き合わせてあるかどうか

表の1行目でつまずく会社が、いちばん多いです。契約している仕組みは情報システム部門が把握していても、業務部門が個別に契約した分は入っていません。一覧の抜けは、費用の明細から逆にたどるといちばん早く見つかります。月々の支払いを部門別に洗い、名前を知らない項目を全部書き出すところから始めてください。

2行目の「動いている最中の検査」は、道具を買う話に見えますが、先に決めるのは検査する対象のほうです。すべてのやり取りを記録すると量が手に負えません。どの用途のやり取りを記録し、どの用途は件数だけ数えるかを、1行目の一覧の上で線引きします。線引きが済んでいない状態で道具を入れると、記録は溜まるのに誰も読まない状態になります。

審査と観測は、別の作業として数える

入れる前の審査と、動かしている間の観測は、目的も頻度も担当も違います。審査は可否を決める1回の作業で、答えは認めるか認めないかです。観測は続く作業で、答えはいつもと同じか変わったかです。この2つを同じ担当が同じ書式でやろうとすると、どちらも中途半端になります。審査の項目に観測の欄を足す形は、いちばん失敗しやすい持ち込み方です。

日本の指針も、この2段を分けて書いています。総務省と経済産業省が2025年3月28日に公表したAI事業者ガイドライン第1.1版では、安全性の項目に、当該AIの性質・用途等に照らし、必要に応じて定期的かつ客観的なモニタリング及び対処も含めて人間がコントロールできる制御可能性を確保する、と記されています。定期的かつ客観的、という2語が観測の側の条件を示しています。

同じ指針のAIガバナンスの構築の節では、環境・リスク分析、ゴール設定、システムデザイン、運用、評価というサイクルを継続的かつ高速に回転させることが重要だとされ、運用開始後も外部環境の変化を踏まえて再び環境・リスク分析を実施し、必要に応じてゴールを見直すと書かれています。始まりに戻る矢印が、最初から設計に入っているということです。一度通した審査が何年も効き続ける前提にはなっていません。

全部は見張れないので、用途の重さを先に決める

観測を全部の用途に同じ密度でかけると、人手が足りません。だから先に重さを決めます。同じ指針は、この考え方をリスクベースアプローチと呼び、予め事前に当該利用分野における利用形態に伴って生じうるリスクの大きさ、すなわち危害の大きさ及びその蓋然性を把握したうえで、その対策の程度をリスクの大きさに対応させる、と説明しています。対策の程度を揃えるのではなく、リスクの大きさに合わせて変えるのが前提です。

実務では、用途を3段に分けるところから始めます。段の数は3つで十分で、5段に分けると境目の議論に時間を取られます。重い段には記録と定期の点検を、中の段には件数の監視だけを、軽い段には年1回の棚卸しだけを割り当てます。軽い段に何も割り当てないのではなく、いちばん軽い手当てを割り当てるのが要点です。割り当てが無い用途は、一覧からも落ちていきます。

段を決める作業は、情報システム部門だけではできません。その用途で間違いが出たときに誰が困るかは、業務部門しか知らないからです。段の案は情報システム部門が作り、確定は業務部門の責任者が行うという分け方にすると、決まる速さが変わります。決まらないまま全部を中の段に置くと、結局どこも見られない状態になります。

重さを決める軸は3つで足りる

段を分ける軸は3つで足ります。1つ目は、出た結果が外に出るかどうか。社内の下書きで終わるものと、取引先や一般の人が目にするものでは、間違いの届く先が違います。2つ目は、取り消せるかどうか。送ってしまった連絡や、確定してしまった処理は、後から戻すのに別の手間がかかります。この2つは、どちらも業務の流れを見れば判定できます。

3つ目は、人の判断を置き換えているかどうかです。下書きを作るだけなら、人が読む工程が後ろに残っています。合否や優先順位をAIが付け、そのまま次の処理へ流れる形だと、読む工程が消えています。工程が消えているかどうかは、画面ではなく業務の流れ図で確かめてください。画面上は確認のボタンがあっても、実際には誰も内容を見ずに押しているだけ、ということが起こります。

3つの軸に当てはめると、重い段に入る用途は思ったより少なくなります。多くの会社で重い段に入るのは、社外に出す文書の作成と、人の評価や選別に関わる用途の2つです。まずこの2つだけを密に見る形で始めれば、人手の見積もりは現実的な範囲に収まります。残りは件数の監視と年次の棚卸しに置いて、半年後に見直せば足ります。

根拠を書かせる：残す記録を先に決めておく

説明可能性は、この枠組みが初期から挙げてきた柱の一つです。ただ、説明という言葉は社内で3通りに使われます。先に挙げたAI事業者ガイドラインは注記で、米国の標準化機関が2023年1月に公表したAIのリスク管理の枠組みを引き、透明性をシステムで何が起きたかについて答えられること、説明可能性をシステムでどのように決定がなされたかについて答えられること、解釈可能性をなぜその決定がされたかについてその意味又は文脈について答えられること、と分類していると紹介しています。

3つは、それぞれ別の準備が要ります。何が起きたかは記録が残っていれば答えられますが、なぜそうなったかは記録だけでは答えられません。同じ指針の透明性の項目には、検証可能性を確保するため、データ量又はデータ内容に照らし合理的な範囲で、開発過程、利用時の入出力等、学習プロセス、推論過程、判断根拠等のログを記録・保存する、と書かれています。合理的な範囲、と幅を持たせてあるのは、全部を残すのが現実的でないからです。

実務では、重い段の用途だけ、入力と出力と参照した資料の3点を紐づけて残す形にします。後から作れない記録は、参照した資料がどれだったかの1点です。入力と出力は再現できても、そのとき参照された資料の版までは戻せません。ここだけは、動かす前に残す設計を入れてください。

• 重い段の用途だけ、入力と出力と参照した資料の3点を紐づけて残す。全部を残すと量が手に負えない
• 参照した資料の版は後から復元できない。ここだけは動かす前に残す設計を入れる
• 記録に氏名や連絡先が混じる用途では、残す期間を決めてから記録を取り始める
• 止めた判断を記録に残すのはもちろん、止めなかった判断も理由を1行だけ残す
• 記録の保管場所は、観測する人が書き換えられない場所に置く

止める仕組みを、動かす前に作っておく

観測して変化に気づいても、止められなければ意味がありません。米国の標準化機関が2023年1月26日に公表したAIのリスク管理の枠組みは、任意で使うものとされていますが、管理の機能の中に、意図した用途と一致しない性能や結果を示すAIシステムを、置き換え、切り離し、又は停止させるための仕組みが備わって適用されていること、そしてその責任が割り当てられ理解されていることという項目を置いています。

割り当てられ理解されていること、という後半が実務では効きます。止める仕組みが技術的にあっても、誰が押してよいかが決まっていないと押されません。止める判断を業務部門の決裁に上げる形にすると、業務が止まるのを嫌って先送りされます。深夜や休日に気づいた場合の暫定の止め方を、担当者の権限で使える形にしておくのが現実的です。戻す判断は後からでも間に合います。

同じ枠組みは、導入後の監視計画に、利用者からの入力の収集と評価、異議申立てと上書き、廃止、事故対応、復旧、変更管理を含めるべきだとしています。廃止が監視計画の項目として並んでいるのが特徴です。止めることと、やめることは、動かし始める前に置いておく設計の一部として扱われています。後から足す項目ではありません。

日本の指針や国際的な規格とは、どういう関係にあるのか

この枠組みは調査会社の整理なので、指針や規格と競合するものではありません。関係は単純で、指針や規格が何をすべきかを並べているのに対し、この枠組みはそれをいつ、どの層で行うかの配置図にあたります。どちらかを選ぶ話ではなく、並べて使うものだと考えてください。

実際、米国の標準化機関は、自らのリスク管理の枠組みと、国際標準化機構などが発行したAIのマネジメントシステムの国際規格との対応表を公開しています。対応表を見ると、監視と測定と分析と評価、継続的改善、不適合と是正処置といった節が、リスク管理の機能の複数箇所と結び付いています。同じことを別の言葉で書いているだけの箇所が、かなりの割合を占めます。

自社でどれを主に据えるかという議論は、これとは別に必要になります。ただ、その議論を始める前に、この枠組みの4つの層で自社の穴を先に見つけたほうが早いです。穴が分かっていないと、どの基準を選んでも同じ穴が残ります。どの基準を主に据えるかの選び方そのものは、この記事の範囲を超えるので、別に整理してください。

どこから手を付けるか：最初の90日

手を付ける順番は、層の番号と同じでかまいません。最初の90日でやることを5段に分けます。順番を飛ばして道具の検討から入ると、ほぼ確実に検査の対象が決まらないまま止まります。ここでの目標は、社内に何がいくつあり、そのうち何件を密に見るかを決め切ることです。

最初の2段は、道具を買わずに紙と表計算だけで進みます。ここまでで、社内に何がいくつあり、そのうち何件が重い段に入るかが見えます。重い段が20件を超えたら、段の分け方を見直してください。多すぎる場合は、軸の当てはめが甘いか、用途の粒度が細かすぎるかのどちらかです。

3段目以降で初めて、記録の取り方と道具の要否を検討します。検討の順番が逆になっている会社では、契約した仕組みの機能に合わせて自社の運用が決まってしまいます。最初の2層を紙で決めてから道具を見ると、要らない機能に費用を払わずに済みます。

測るものは3つに絞る

続けるためには、毎月見る数字が要ります。ただし数を増やすと誰も見なくなります。3つに絞ってください。1つ目は、一覧に載っている用途のうち、この1か月で一度も使われなかったものの件数。2つ目は、重い段の用途で記録が欠けていた件数。3つ目は、止める判断が上がってきた件数と、そのうち実際に止めた件数です。

3つ目が0件のまま何か月も続く組織は、観測が働いていないと考えたほうがいいです。何も起きていないのではなく、気づいても上げていない可能性が高いからです。上がってきた件数が0なら、まず上げ方の経路そのものを確かめる。経路が分かりにくいと、現場は上げずに使い続けます。

数字は並べるだけでは動きません。3つとも、前の月と比べてどう変わったかを1行で書き添える形にしてください。件数だけの表は3か月で誰も読まなくなります。増えた理由と減った理由を毎月1行ずつ残すと、半年後に手当ての効き目を振り返る材料になります。

情報システム部門だけで抱えると1年持たない

この枠組みを情報システム部門の仕事として置くと、たいてい1年持ちません。理由は単純で、用途の重さを決める判断も、止める判断も、業務の側の情報がないと下せないからです。先のAI事業者ガイドラインは、アカウンタビリティの項目で、各主体においてアカウンタビリティを果たす責任者を設定する、と書いています。設定する、であって、兼ねてよいとは書かれていません。

実務上の分け方は3つで足ります。一覧を作って保つ人、観測の結果を毎月読む人、止める判断を下す人。3つを同じ人が兼ねている状態は、止める判断が出てこない典型です。自分で入れた仕組みを自分で止める提案は、心理的に出しにくいからです。少なくとも3つ目だけは、入れた人から離してください。

併せて、経営層がこの取り組みを費用ではなく先行投資として扱うかどうかで、続き方が変わります。同じ指針も、短期的な利益の追求の観点からAIガバナンスの構築を単なるコストと捉えるのではなく、持続的成長及び中長期的な発展を志向した先行投資として捉えることが重要だと述べています。この一文を稟議の冒頭に置いておくと、翌年の予算の議論が短く済みます。

やってはいけない持ち込み方

最後に、この枠組みを社内に持ち込むときに失敗する形を5つ挙げます。どれも、始めた時点で運用が回らないことが決まります。心当たりがあれば、次の1手を差し替えてください。

• 4つの層の図を資料に貼って終わる：社内に増えたものが1つもない。増えるのは一覧の1行目を書いたとき
• 一覧を作る前に検査の道具を契約する：何を検査するかが決まらず、記録だけが溜まって誰も読まない
• 情報システム部門だけで用途の重さを決める：その用途で間違いが出たときに誰が困るかは、業務部門しか知らない
• 全部の用途を重い段に入れる：1件あたりに割ける確認の時間が減り、密度が保てなくなる
• 止める権限を業務部門の決裁に上げる形にする：業務が止まるのを嫌って先送りされ、暫定で止める手が無くなる

1つ目が最も多い形です。枠組みの名前を掲げた資料を作り、4つの層の図を貼って報告して終わる。図を貼った時点では、社内には何も増えていません。増えるのは、一覧の1行目を書いたときです。

4つ目は、良かれと思って起きます。全部の用途を重い段に入れれば安全に見えるからです。しかし重い段が増えるほど、1件あたりに割ける確認の時間は減ります。密に見る対象を絞ることは、手を抜くことではなく、見る密度を保つための配分です。絞った結果として、軽い段の用途にも年1回の棚卸しという手当てが残ります。

よくある質問

外部の仕組みを使っているだけでも、この枠組みは必要ですか

必要です。むしろ外部の仕組みを使っている場合のほうが、統治の層の重みが増します。自社で作っていない分、仕様が変わったことに気づく手段が契約書と告知しかないからです。一覧に、提供元からの告知をどこで受け取るか、その担当は誰かの2列を足しておいてください。外部の仕組みは、自社の都合と関係なく変わります。変わったことに気づける経路を持っているかどうかが、実質的な差になります。

従業員が数十人の組織でも、4つの層を全部作るべきですか

作る対象は同じですが、量はまったく違います。統治の層は表計算の1枚で足ります。動いている最中の検査は、重い用途が1件か2件なら、専用の道具ではなく月に一度の抜き取りで代えられます。情報の取り扱いは、渡してよい資料の置き場を1か所に決めるだけで大半が片付きます。層は省かず、手当ての重さだけを組織の規模に合わせてください。層を省くと、抜けた層の問題は後から必ず出てきます。

認証や資格のように、対応したと外部に示せますか

示せません。これは調査会社の整理であって、認証の制度ではないからです。外部に示す必要がある場合は、認証の仕組みを持つ国際規格の側を使うことになります。この枠組みは、その準備として自社の穴を見つけるための見取り図として使うのが現実的です。取引先から確認を求められた場合も、枠組みの名前ではなく、実際に置いている一覧と記録と止める経路を示したほうが、話が早く進みます。

記録はどのくらいの期間残せばよいですか

一律の期間はありません。決め方の順番だけは決まっていて、まず何のために残すかを書き、それに必要な期間を出す形になります。事故の原因をたどるためなら、事故が表に出るまでの時間より長くします。説明を求められたときのためなら、その説明を求められる可能性が続く期間に合わせます。記録に氏名や連絡先が混じる場合は、残す期間を決めずに取り始めないでください。取り始めてから期間を決めると、消す作業のほうが重くなります。

観測そのものをAIに任せてもよいですか

件数を数える、いつもと違う形のやり取りを拾い上げる、といった作業は任せられます。任せてはいけないのは、拾い上げたものを問題なしと判定させるところです。問題なしの判定を任せると、見逃しが記録の上では正常として残ります。拾い上げまでを任せ、判定は人が行う。そして、なぜ拾い上げたのかを件数や条件の形で示させてください。理由を示せない拾い上げは、翌月には誰も見なくなります。

まとめ

信頼・リスク・セキュリティの管理と呼ばれる枠組みは、新しい審査項目の一覧ではありません。入れる前の1回の審査を、動かしている間ずっと続く観測と、必要なときに止める経路につなげ直すための配置図です。4つの層のうち、日本の会社でいちばん欠けているのは先頭の統治の層——つまり、社内で何がどこで使われているかの一覧です。まず、費用の明細を部門別に洗って、AIが関わる契約を全部書き出してみてください。半日で終わります。書き出した行に、外に出るか、取り消せるか、人の判断を置き換えているかの3つの印を付ければ、密に見るべき用途が10件前後に絞られます。そこまで来てから、記録の取り方と止める経路を決める。道具の検討はその後で間に合います。名前と図から入ると、社内には何も増えません。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。