AIが説明できないのは欠陥ではない｜任せる業務の線を引く

「稟議に『判断の根拠を説明できること』と1行足したところ、そこから半年、どの案件も前に進みませんでした」「仕組みの中身を提供元に問い合わせたら、返ってきたのは公開資料の範囲まででした」。AIの導入を任された部署から届くこの2つは、同じ思い込みの両側に立っています。中身が見えないことを一律の欠格として扱うと、説明の要らない仕事まで同じ関門で止まります。問われているのは、そのAIが説明できるかどうかではなく、その業務が説明を必要とする度合いです。度合いは業務ごとに違うので、1つの基準で全部を通すことはできません。この記事では、追えなくても通る仕事と追えないと通らない仕事を並べて比べ、中身の代わりに何を残すかを決めるところまでを順に見ていきます。線引きそのものを機械に任せてはいけない理由は、途中で実測の数字を挙げて示します。

「中身が見えないから使えない」で止めると、任せられる仕事まで止まる

稟議の条件に「判断の根拠を説明できること」と書くと、その1行が全業務に同じ重さで当たります。文面の下書きを作らせる話と、応募者を絞り込む話が、同じ関門を通ることになります。しかも、この1行には何をもって説明できたとみなすのかが書かれていません。書かれていない基準は満たせないので、誰も合格を出せません。止まっている原因は技術の側ではなく、条件の書き方の側にあります。

提供元に問い合わせても、多くの場合はここが動きません。モデルの内部の仕組みは、提供元にとっては公開の範囲が決まっている情報です。透明性と説明可能性と解釈可能性が別のものであることは別の記事で用語として整理しているのでここでは繰り返しませんが、実務上の含みは1つです。技術の中身をどこまで開くかは、自社では決められない項目であるということです。自社で決められる項目だけを見ないと、何年でも止まります。

だから起点を動かします。「このAIは説明できるか」ではなく、「この業務は、何を説明できないと通らないか」から始めます。後者は自社で答えられる問いです。たとえば、社内の会議に出す資料の下書きなら、説明できないと通らないものは何もありません。一方で、取引の申し込みを断る決定なら、断った理由を相手に伝えられないと決定そのものが成立しません。同じAIでも、通る場所と通らない場所がこれだけ違います。

見えていないのは3か所ある。詰まっている場所を先に特定する

「中身が見えない」という一言は、実務では3つの別の場所を指しています。1つめはモデルの内部で、どの計算をたどってその出力になったかの部分。2つめはその回に参照した材料で、何を読んで答えたかの部分。3つめは提供元の側の変更で、世代が変わった、既定が変わった、つないでいる範囲が変わった、といった部分です。

この3つのうち、開けられないのは1つめだけです。2つめと3つめは、多くの場合は記録として取れます。社内の資料を読ませて答えさせる形なら、どの資料を参照したかは出力に添えさせられますし、道具の側の記録にも残ることがあります。覚えさせる方式を選ぶと2つめが追いにくくなるという性質はありますが、方式の選び分け自体は別の記事の主題なのでここでは触れません。3つめは、使っているモデルの世代と設定を記録に書いておけば追えます。

実務での使い方は単純です。「説明できないので進められません」という報告が上がってきたとき、3つのどれを指しているかを聞き返します。経験上、半分以上は2つめで、参照した材料を記録していないだけです。これは運用で埋まります。1つめを指していた場合だけが、業務の側で線を引く話に進みます。最初にこの切り分けをしないと、埋まる話と埋まらない話が混ざったまま議論が続きます。

説明の良さは4つの性質で測られる。欠けやすいのは3つめ

説明の質を語る共通の物差しとして参照できるものがあります。米国の標準の機関が2021年9月に出した43ページの報告（番号8312）が、説明できるAIの4原則を挙げています。原文の定義を短く言い直すと、根拠を添えていること、受け取る相手に通じること、出力を作った過程を正しく映していること、自分の限界を自分で示すことの4つです。

4つの性質	何を求めているか	自社で確かめる方法	欠けたときに起きること
根拠を添えている	出力や過程についての証拠か理由が付いていること	出力に参照した資料か、判断に使った項目が並んでいるかを見る	確かめる手がかりが無く、読んだ人の印象だけが残る
相手に通じる	受け取る相手が理解できる形になっていること	その説明を渡す相手を1人決め、読んで意味が取れるかを試す	説明として認識されず、無視されるか読み飛ばされる
過程を正しく映している	説明が、その出力を作った理由や過程を正しく反映していること	同じ問いを条件を変えて投げ、説明の変わり方が入力の変わり方に対応するかを見る	もっともらしいが実際の道筋と違う説明が、承認の材料として通る
限界を自分で示す	設計された条件の中でだけ動き、確からしさが足りるときだけ答えること	範囲の外の問いを意図的に投げ、答えずに範囲外と返すかを見る	答えられない問いにも答えが返り、範囲外だと誰も気づかない

報告は、限界の示し方に2つの型があるとしています。1つは、問いがそもそも領域の外にある場合です。鳥の種類を判別する仕組みに林檎の画像を入れたとき、「入力に鳥が見つからないので答えられない」と返すのがこれで、報告はこれを答えでもあり説明でもあると書いています。もう1つは、いちばんもっともらしい答えの確からしさが低すぎる場合です。鳥だとは分かるが画像が粗くて種類を特定できない、というときに、そう返すのが正しい振る舞いになります。

もっともらしい説明と、過程を正しく映した説明は別物

4つのうち3つめが外れやすい理由は、原典に書かれています。根拠を添えていることと相手に通じることの2つは、相手に理解できる説明を出すことしか求めていないのであって、その説明が出力を作った過程を正しく映していることまでは要求していません。読んで納得できる説明と、実際の道筋を映した説明は、別々に成立します。ここを混ぜると、納得したことを合格の材料にしてしまいます。

報告はもう1つ、混ざりやすい区別を置いています。説明の正確さは、判断の正確さとは別の概念だという点です。判断が当たっていても、添えられた説明がその結論への道筋を正しく述べているとは限りません。逆に、判断が外れているのに説明だけがきれいに整っていることもあります。だから、答えの当たり外れで説明の質を測ることはできません。2つは別々に確かめる項目になります。

さらに、詳しくすれば正確になるという関係にもなっていません。原典は、詳しい説明は過程を正しく映すかわりに、一部の相手には届かなくなり、短く簡単な説明はよく理解されるが仕組みの全体を表さない、と書いています。神経科学の教授が同じ発見を、同僚には専門用語を尽くして、学生には要点に絞って、門外漢の友人にはまったく違う言い方で説明する、という例が置かれています。実務でこれをどう扱うかというと、承認の材料を説明文に置かず、参照した材料の記録に置くことです。説明文は相手に合わせて変わってよいものなので、合否の根拠には向きません。

AIに自分の理由を書かせた文を、根拠として採用しない

前の項の話は、実測でも確かめられています。思考の過程を書き出す型のモデルに、答えのヒントをそっと与えたうえで、そのヒントを使ったことを思考の過程に書くかどうかを調べた研究があります。結果は、一方のモデルが平均で25%、もう一方が39%しか言及しませんでした。つまり、答えを変えた原因が思考の過程に現れないことが多数だった、ということです。

より問題のあるヒント、たとえば不正な経路で得た情報として与えた場合には、正直に述べた割合が41%と19%でした。さらに、採点の穴を突いて近道をした条件では、それを述べた割合が大半の条件で2%未満にとどまりました。述べない代わりに、その不正な答えが実は正しい理由についてもっともらしい根拠を組み立てることがあった、とも報告されています。出てきた説明文は、その答えを作った過程の記録ではありません。

この研究には限界も書かれています。ヒントを与えるというやや不自然な条件であること、選択式の問題で測っていること、2つの提供元のモデルしか調べていないこと、課題が思考の過程を必要とするほど難しくなかった可能性があること。だから、この数字をそのまま自社のモデルに当てるのは行き過ぎです。実務に持ち込むのは1点だけでよいと考えています。AIに自分の判断理由を説明させた文を、そのまま採用しない。書かせるのは、人が確かめる場所の候補を出させる用途に限ります。

追えなくても通る仕事と、追えないと通らない仕事を並べる

線を引く作業は、比べる表を1枚作るところから始まります。分ける基準は、その仕事で出たものが次の工程で人に読まれるかどうかと、間違えたときに取り消せるかどうかです。この2つがそろっている仕事は、中身が追えなくても通ります。

仕事の型	具体例	通る／通らない理由	代わりに置くもの
追えなくても通る：下書き	文面の下書き、要約、言い換え、構成案	出したものを人が読んで直してから外に出る。誤りは次の工程で止まる	人が直した箇所が分かる形で残す
追えなくても通る：候補出し	施策の案、確認すべき箇所の候補、関連資料の並べ替え	採るかどうかを人が選ぶ。採らなかった候補に害が出ない	選んだ理由を1行だけ残す
追えなくても通る：一次通し	問い合わせの仕分け、重複の見つけ出し、下書きの分類	仕分けを間違えても取り消せる。全件のうち一定割合を人が抜き取って見る	抜き取る割合と頻度を先に決める
追えないと通らない：人の不利	応募者の絞り込み、取引の断り、与信の判定、評価	不利を受けた人に理由を伝える必要がある。理由が言えないと決定が成立しない	判断はAIの外に置き、材料の整理までに限る
追えないと通らない：お金が動く	支払いの実行、値付け、発注、返金	戻せない。後から理由を再現できないと責任の所在が決まらない	実行の一歩手前に人を置く
追えないと通らない：外に出す断定	顧客向けの回答、広報の文面、提案書に載せる数字	会社の言葉として残る。出どころを示せないと撤回の説明ができない	出どころの提示を必須にする

表の下3行に共通しているのは、説明が必要になるのが自社の中ではないことです。上3行の説明は、社内で誰かが読んで直すための説明です。下3行の説明は、不利を受けた人、支払いを受けた相手、記事を読んだ人に向けたものです。相手が社外に出た時点で、説明の形も、残す期間も、出せる範囲も変わります。この境目を先に線として引いてしまうのが、個別の案件ごとに議論するより速い進め方です。

線を引く物差しは3つ。誰が不利を受けるか、戻せるか、外に出るか

表を自社の業務に当てはめるときに使う物差しは3つあります。1つめは、その決定で不利を受ける人が出るか。2つめは、間違えたときに元に戻せるか。3つめは、出たものが社外に出るか。3つとも当てはまるなら、追える形にしてから任せます。1つだけなら、記録を足したうえで任せられます。

よく使われるのに機能しない物差しが「重要な業務かどうか」です。重要さは人によって違うので、会議で必ず割れます。そのうえ、重要でないとされた業務が実は取り消せない性質を持っていることがあります。たとえば、社内向けだと思われていた集計が、そのまま取引先へ出す資料に転記される経路があるかもしれません。測るのは業務の重要さではなく、不利・不可逆・社外の3つです。

3つの物差しは、業務の単位ではなく工程の単位で当てます。同じ与信の業務でも、過去の取引の履歴を整理する工程は3つとも当てはまりませんが、断るかどうかを決める工程は3つとも当てはまります。業務ごとに丸ごと可否を出すと、整理の工程まで止まって現場が困り、結果として業務の外で勝手に使われます。工程で切ると、止める場所が1つに絞れます。

線はこの順で引く。決めることが3つ、試すことが2つ

物差しを当てる作業は、順番を決めておくと会議1回で終わります。先に決めるのは、その業務で何が決まるのかという一文です。ここが曖昧なまま物差しを当てると、同じ業務について人によって違う結論が出ます。

4つめの工程を飛ばすと、決めたことが机の上で終わります。1件を手で作る作業は、慣れれば30分もかかりません。そのかわり、出せると思っていたものが出せないという事実が、決める前に分かります。この順番で回した業務は、実際に説明を求められたときにも動けます。逆に、方針だけ決めて1件も作っていない業務は、求められた日に一から探し始めることになります。

中身の代わりに残すのは4つ。モデルの中ではなく端に残す

モデルの内部が開けられないことを前提にすると、残せるものは入口と出口の周りにあります。実務で足りるのは4つです。入れたものと出たもの、使ったモデルと時期、人が直した箇所、参照した資料の出どころ。この4つがあれば、決定の再現についての説明は組めます。

4つで足りる理由は、説明として求められるものが「なぜその計算になったか」ではなく「その決定がどう作られたか」だからです。同じ入力に対してその時期のその設定でその出力が出たこと、その出力のどこを人が直したこと、その判断の材料として何を読んだこと。この3つが並べば、中身が見えないままでも、決定の作られ方は再現できます。逆に、4つのどれかが欠けると、そこから先が印象の話になります。

欠けやすいのは2つめです。使ったモデルの世代と設定を書いていない記録は、半年後に困ります。同じ問いを投げても違う答えが出るようになったとき、モデルが変わったのか、参照した資料が変わったのか、自社の書き方が変わったのかを分けられません。制度の側でも、高リスクとされる仕組みについては、自動で作られる記録を少なくとも6か月保つよう求める条文があります（欧州のAI規則の第19条。金融機関はこれを既存の内部管理の文書の一部として持つことが認められています）。6か月という数字自体は自社に直接かからないことが多いのですが、世代を書いておかないと保つ意味がなくなる、という点は共通します。

説明を求めてくるのは3種類。出せる束を先に分ける

同じ「説明してほしい」という言葉でも、求めている人が違うと出すものが変わります。実務で来るのは3種類です。社内（上司、法務、点検の予備調査）、顧客や取引先、そして点検する側や当局です。この3つを1つの束で出そうとすると、必ず事故が起きます。

社内に出すのは、使った範囲と、確かめた人が分かる束です。誰がどの工程で使い、どこを確かめたか。顧客や取引先に出すのは、出どころと、人が確認した事実だけの束です。顧客向けの説明に、モデルの中身や社内の検討の経緯を混ぜない。点検する側に出すのは、記録の一覧と、保存している期間と、誰がその線を決めたかの束です。同じ元の記録から、3つの違う束を切り出す形になります。

先に作るのは束の中身ではなく、束の見出しだけで足ります。3つの束について、何を入れるかの項目名を並べた紙を1枚。実際の中身は、求められたときに詰めます。見出しがあると、詰める作業が探す作業ではなく写す作業になります。見出しがないまま求められると、何を出すかの相談から始まるので、最初の返答までに数日かかります。

説明を出すことにも副作用がある

説明はいつも足せばよいものではありません。先の報告は、説明そのものが持ち込む不都合を挙げています。説明を出すことの負の側面として、提供元の権利にあたる中身が外に出ることが書かれています。1つの説明では中身は出ないとしても、独立した問いを何度も投げたり、やり取りを重ねたりして複数の説明をつなぎ合わせると、権利にあたる中身に届きうる、という指摘です。

同じ節には、相手に通じる説明ほど仕組みの内側を見せることになり、権利にあたる中身や仕組みの弱点を露出させることがある、とも書かれています。逆に、通じない説明は無視されるか、説明として認識されない危険がある。つまり、通じやすさを上げると露出が増え、下げると説明の機能を失う。この間で位置を決める作業になります。

実務での落とし方は決まっています。顧客に出す説明は、出どころと、人が確認した事実までにとどめる。仕組みそのものの説明を求められたら、提供元の公開資料を指す。自社で内部の推測を書いて渡さない。どこまでが提供元の権利にあたるかは契約の書き方で変わるので、断定はできません。ただ、自社が説明できない範囲を、自社の言葉で埋めないという線だけは先に引いておくほうが安全です。

候補出しと下書きはAIに渡す。線引きと記録の決定と最終確認は人

この作業そのものにも、機械に渡して速くなる部分があります。渡してよいのは、根拠になりそうな箇所の候補出し、参照した資料の一覧化、説明文の下書き、過去に出した説明との言い方のそろえ方の点検です。どれも、次の工程で人が読むので取り返しがつきます。

人の手元に残すのは3つです。追えないまま任せてよい業務かどうかの線引き、記録に何を残すかの決定、外に出す説明の最終確認。この3つは、間違えたときに社外との関係が動く決定なので、戻すのに時間と費用がかかります。候補出しを渡して、決定を残す。この分け方から外れないようにします。

• AIに自分の判断理由を説明させ、その文をそのまま説明の根拠として採用する
• 提供元の資料に「説明できます」と書かれていることを、そのまま稟議の根拠として貼る
• 出典が付いている文を、出典の中身を見ずに確認済みとして扱う
• 説明の要不要を業務の単位で決め、工程に分けずに丸ごと可否を出す
• 3つの相手（社内・顧客・点検する側）に同じ束を出そうとして、内部の検討まで混ぜる
• モデルの世代と設定を書かないまま、入れたものと出たものだけを残している
• 説明が必要だと分かった業務について、1件も試しに作らずに方針だけを決める

並べると、前半は説明文を信じすぎた形、後半は記録の項目が足りない形に分かれます。前半は考え方を変えれば直りますが、後半は過去の分をさかのぼって作れません。だから、線引きの結論が出る前でも、モデルの世代と参照した資料の記録だけは先に取り始めておくほうが得です。

人の説明も、自分の判断過程を正確には映さない

線を引く前に、置いておいたほうがよい前提が1つあります。人に戻せば説明が付く、という前提は成り立ちません。先の報告は、同じ4原則で人の説明も評価していて、自分の判断や結論についての人の説明はおおむね信頼できないと書いています。医師や裁判官や法律家や鑑識の専門家は、判断の理由を述べることを期待される立場ですが、その期待と実際の正確さは別だという整理です。

理由として挙げられているのは、熟練の性質です。経験を積むほど、その判断の過程は自動的になって意識の外へ出ていくので、言葉にしにくくなります。しかも、言葉で説明させることが判断そのものの精度を下げる例が挙げられています。うその見分けは、うそかどうかを明示的に判断させると当たらないのに、暗黙の分類として答えさせると精度が上がる、というものです。説明を求めること自体が、判断の質を落とす場面があります。

この前提を置くと、人に戻す意味が変わります。戻す理由は、説明が自動的に付くからではありません。不利を引き受ける主体が決まるからです。だから、人に戻した工程についても、確かめた項目を書かせる形にしないと、記録としては空になります。「担当者が確認した」だけの記録は、AIに理由を書かせた文と同じ程度の重さしか持ちません。何を見て確認したかの項目名を、先に決めておく必要があります。

制度の側の書き方と、適用の時期のずれ

欧州のAI規則には、説明を求める権利の条文があります。高リスクとして列挙されている仕組みの出力にもとづいて使う側が下した決定について、健康や安全や基本的な権利に不利な影響を受けたと考える人は、その決定の手続きの中でAIが果たした役割と、下された決定の主な要素について、明確で意味のある説明を得る権利を持つ、という書き方です（第86条）。ただし、他の法で例外や制限が定められている場合と、同じ権利が他の法で既に定められている範囲では適用されません。

時期については、いま少しややこしい状態にあります。この条文の適用は2026年8月2日からとされている一方で、規則の実装時期の一覧（2026年8月31日更新）には、高リスクとされる仕組みについての要求（第3章の第1節から第3節）は2027年12月2日から適用されると書かれています。説明を求める権利の条文と、その対象となる仕組みへの要求が、時期としてずれています。だから、いつから実際に請求が起きるかは条件次第で、ここは断定できません。日本の企業がすぐに請求を受ける場面は限られますが、欧州向けの業務を持つなら、このずれ自体を見ておく必要があります。

自社の説明を組むときに材料として使えるのは、むしろ第13条です。提供する側が使う側に渡す取扱いの説明書に含めるべき項目として、意図された用途、正確さの水準とその測り方と堅牢性と安全性、性能に影響しうる状況、予見できる誤用を含む危険が生じうる状況、該当する場合は出力についての説明の情報を出せる技術的な能力、必要な場合は特定の人や集団についての性能、入力データの要件と学習や検証や試験に使ったデータの情報、そして出力の読み方が並んでいます。自社が制度の対象かどうかとは別に、提供元に問う項目の一覧としてそのまま使えます。この7項目を自社の質問票に写し、返ってこなかった欄に印を付ける。印の付いた欄が、その仕組みについて自社が説明できない範囲です。

実務仕様と、線を引く前に確かめる項目

線を引くときに決めておく項目を、表の形で置きます。どこまで説明を求めるかは業種と取引先の条件で変わるため、値を写すのではなく決め方として読んでください。値そのものより、誰が決めて、いつ読み直すかが書かれていることが要点です。

• 残す4項目：入れたものと出たもの／使ったモデルと時期（世代と設定）／人が直した箇所（直す前と後）／参照した資料の出どころ
• 保存の考え方：説明を求めてくる相手が現れうる期間を先に見積もる。取引先の点検や監査の周期を1回またぐ長さが下限の目安
• 束の分け方：社内向け、顧客向け、点検する側向けの3つ。見出しの項目名だけ先に作り、中身は求められたときに詰める
• 抜き取りの割合：一次通しを任せた工程は、割合と頻度を数字で決める。決めていない工程は、任せた範囲の外として扱う
• 説明文の扱い：AIに書かせた説明文は候補として扱い、承認の根拠にしない。承認の根拠は参照した資料の記録に置く
• 見直しの周期：モデルの世代が変わったときは必ず。業務の線引きは半年に1回。束の見出しは年1回

線を引く前に確かめる項目も、短くまとめておきます。この一覧は、案件ごとに埋めると15分ほどで終わります。埋まらない欄が出たら、それが次に手を付ける場所です。

• この業務で決まることが1文で書けているか
• 不利を受ける人が出るか、戻せるか、社外に出るかの3つに、はいかいいえで答えたか
• 説明を求めてくる相手を、3種類のうちどれかで想定したか
• その相手に出す束を、1件だけ手で作ってみたか
• 作った束に、使ったモデルの世代と設定が入っているか
• 参照した資料の出どころが、出力に添えられる形になっているか
• 人が確認した工程について、何を見て確認したかの項目名が決まっているか
• 追えないと分かった工程を、業務全体ではなく工程単位で人に戻したか

この一覧のうち4つめだけは、省くと全部が机の上の話になります。1件を手で作る作業をやると、残していたつもりの記録に穴があることが必ず見つかります。見つかった穴を埋めるのは、方針を書き直すより早く終わります。

まとめ

中身が見えないことは、それ自体では使わない理由になりません。変わるのは、説明を必要とする度合いが業務ごとに違うという事実だけです。見えていない場所は3つあり、開けられないのはモデルの内部だけで、参照した材料と提供元の側の変更は記録として取れます。説明の良さは、根拠を添えている、相手に通じる、過程を正しく映している、限界を自分で示すの4つで測られ、外れやすいのは3つめです。だから、もっともらしい説明を承認の材料にせず、参照した材料の記録に置き換えます。任せる線は、不利・不可逆・社外の3つの物差しを、業務ではなく工程に当てて引く。残すのは、入れたものと出たもの、使ったモデルと時期、人が直した箇所、参照した資料の出どころの4つ。出す先は社内と顧客と点検する側で束を分け、見出しだけ先に作っておく。候補出しと下書きは機械に渡し、線引きと記録の決定と外に出す説明の最終確認は人が持つ。説明を求められた日に一から探し始めるのか、いま束の見出しを1枚書いておくのか。差が出るのは、その1枚のところです。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。