AIエージェントの失敗箇所を突き止める方法｜どこで間違えたかを追う

「見積の下書きが間違った金額で出てきたのですが、どこで間違えたのかが分からず、結局その日の分を全部つくり直しました」「エージェントが動いた記録は残っているのに、読んでも原因にたどり着けません」——AIエージェントを業務に入れた会社から、このところ続けて届く声です。2つに共通しているのは、失敗そのものより、失敗の場所を指させないことのほうが業務を止めているという点です。エージェントは何段階も動いてから結果を返すので、最後の1枚だけを見ても、どの段で外れたのかは読み取れません。この記事では、実際に起きた1件を追いかける筋道に沿って、段ごとに残しておくもの、残す量の線引き、見る人の範囲、逆からたどる順番、道具側と指示文側の切り分け、そして原因の要約をAIに書かせるときの限界までを並べます。

追いかけられなかった1件

具体的な場面から始めます。見積の下書きをつくるエージェントを入れた会社で、ある日、実際より2割低い金額の下書きが出てきました。担当者が気づいたのは、相手に送る直前です。エージェントは止まっていませんし、不具合の表示も出ていません。形の整った見積が、ただ間違った数字で出てきただけでした。

社内で最初に出た質問は「どこで間違えたのか」でした。ところが、これに答えられません。記録は残っています。開始と終了の時刻、呼び出した回数、かかった費用。けれどどの段で古い価格表を読んだのかが、どこにも書かれていません。結局その日の下書きは、全部つくり直しになりました。

この記事で扱うのは、ここから先です。もう起きてしまった失敗を、後からどうやって場所まで指せるようにするか。止まったときにどこからやり直すかという設計も、直すたびに前の機能が壊れていないか確かめる仕組みも、同時に何本動かすかという話も、工程をどう区切るかという設計も扱いません。追いかける側だけに絞ります。

並べ方は、この1件を追いかける順番に合わせます。なぜ結果だけでは分からないのか、何を残せば追えるのか、どこまで残してよいのか、誰が見るのか、どうたどるのか、どこまでが道具側の問題なのか。最後に、記録が何も残っていない状態から始める手順を置きます。

結果が正しく見えるのに、途中が外れている

エージェントの失敗が見つけにくいのは、最後の出力が形として正しく見えるからです。可観測性の解説（2026年4月公開・2026年9月更新）は、この状態を「仕組みは正常だが、AIの仕事の仕方がおかしい」と表現しています。外から見える数字のほうは、どれも正常のままです。

マイクロソフト社の安全設計の文書（2026年3月公開・6月更新）も同じ点を指摘しています。従来の見える化は待ち時間・失敗率・処理量に寄りすぎていて、AIの仕組みには足りない。稼働率と失敗率は、AIの品質や信頼性を示す指標として適切ではないと書かれています。止まっていないことは、正しく働いていることの証明になりません。

もう1つ、段の数が増えるほど、最後の1枚から遡れる情報が減ります。5回道具を呼んで、3回文章をつくり直していれば、最後に残るのは最終稿だけです。途中で捨てられた中身は、残す仕掛けをつくっていなければ、その場で消えます。人の仕事なら机に残る下書きが、ここには残りません。

だから、追える状態は後から足せません。失敗が起きてから記録を増やしても、その失敗そのものは追えません。増やした分が効くのは次の失敗からです。この順番を分かったうえで、どこから足すかを決めます。

静かに外れる4つの型

静かに外れる型は、だいたい4つに収まります。可観測性の解説（2026年9月更新）が挙げているのは、道具の選び違い、権限の逸脱、遠回り、流れの飛ばしです。どれも、結果だけを見ていては気づけません。

道具の選び違いは、想定していない参照先を選ぶ形です。冒頭の見積の例はこれに当たります。権限の逸脱は、人の承認を待たずに次の処理へ進む形。遠回りは、同じ検索を何度も繰り返して費用と時間だけが増える形。流れの飛ばしは、必須にしていた人の確認を通らずに終わってしまう形です。

静かに外れる型	業務で現れる姿	どの記録を見れば分かるか	気づかないまま続くと起きること
道具の選び違い	内容は整っているが、数字や条件だけが古い	選んだ道具の名前と、渡した条件	古い前提のまま社外に出てしまう
権限の逸脱	承認したつもりのない処理が、すでに済んでいる	処理の並びと、承認を待った記録の有無	取り消せない操作が外部にまで及ぶ
遠回り	結果は同じなのに、費用と時間だけが増える	1回の仕事あたりの呼び出し回数と費用	使うほど赤字になり、途中で打ち切られる
流れの飛ばし	人が見たはずの工程が飛んでいる	状態の移り変わりの記録	誰も見ていない出力が業務の前提になる

表の3列目が、この記事の中心です。型ごとに、見るべき記録が違います。何を残すかを決めるときは、どの型を拾いたいかから逆に考えます。全部の型を拾おうとすると記録の量が一気に増えて、次に触れる別の問題が出ます。

4つのうち、業務への被害が大きいのは上の2つです。古い前提のまま社外に出る失敗と、取り消せない操作が進んでしまう失敗は、後から謝っても戻りません。記録を足す順番も、この2つから始めます。

段ごとに残す5つのもの

追えるようにするために残すものは、5つに整理できます。受け取った入力、参照した先、選んだ道具、戻ってきた中身、次に渡した文。この5つが段ごとに並んでいれば、どの段で話がすり替わったのかを指せます。

マイクロソフト社の文書（2026年6月更新）が挙げている記録の項目も、ほぼ同じ並びです。要求の識別子と前後の文脈、時刻、会話や実行の識別子、利用者の入力とシステムの応答、参照した先の実績、そして道具の呼び出し（道具の名前、渡した引数、使った権限、戻ってきた出力）。最後の1つが、エージェント特有の項目です。

実務で抜けやすいのは3つ目と4つ目です。どの道具を選んだかは残っているのに、渡した条件と戻ってきた中身が残っていない。これだと、道具を呼んだことは分かっても、何を聞いて何が返ったのかが分かりません。冒頭の見積の例で言えば、価格表を見たことは分かるが、いつの価格表かが分からない状態です。

残す形も決めておきます。段ごとに1行、5つの項目が同じ順で並ぶ形にします。段によって書き方が違うと、読む側が毎回その段の書式を読み解くところから始めることになり、追いかける時間がそこで倍になります。

1回の仕事を1本の線でつなぐ

項目を残すだけでは足りません。1回の仕事に属する記録を、1本の線としてつなぐ識別子が要ります。これがないと、同じ時刻に動いていた別の仕事の記録と混ざり、どれがこの1件の記録なのか分かりません。

記録の書き方をそろえる業界共通の取り決め（生成AI向けの意味づけの規約）でも、モデルを呼んだ区間とエージェントが動いた区間を分けて記録する形が定められています。技術解説（2025年10月）によれば、区間には提供元の名前、依頼したモデル、入力と出力の語数、設定値などを添えます。区間には親子の関係があり、どの段がどの段から呼ばれたのかが分かる形になっています。

この仕組みの効き目は、読む順番を選べることです。最後から遡る、費用の大きい段から見る、時間のかかった段から見る、と入口を変えられます。線がつながっていないと、入口は時刻の順しかありません。

• 識別子は仕事の開始時に1つ発行し、最後まで同じものを使い回す（段ごとにつくり直すと線が切れる）
• 業務側の番号（見積番号や案件番号）と結び付けておく（先週のあの案件、から記録に入れる経路ができる）
• 人が手を入れた段にも印を残す（人が直した後の失敗を、AIの失敗として数えてしまう事故が減る）

なお、この取り決めはまだ策定の途中段階にあります。2025年8月の版で入力と出力の書き方が統一されたばかりで、今後も項目名が変わる前提で組む必要があります。自社の記録をこの規約の形に寄せるかどうかは、道具を入れ替える予定があるかどうかで決めます。

本文をどこまで残すか

ここで多くの会社が迷います。入力と出力の本文を残すかどうかです。先ほどの規約では、本文を記録するかどうかは設定で切り替えることになっていて、既定では記録しません。本番では個人を特定できる情報が混ざるため、記録しない側が勧められています。

実務の指針も同じ向きです。AI利用の記録についてまとめた解説（2026年3月公開・9月更新）は、本文の保存を業務の再現、監査、法令や契約への対応に必要な場合に限るとしています。それ以外は、伏せ字にする、要約だけ残す、元の場所への参照だけ残す、のいずれかを先に検討します。

• 追えるようにしようとして本文をすべて残し、半年後に、その記録の側が個人情報の管理対象になって手が回らなくなった
• 費用を抑えるために何も残さない設定にしていて、社外に出た誤りの原因を1つも示せなかった
• 要約だけを残していたため、道具から戻ってきた中身が消えており、古い価格表を読んだことを示せなかった
• 記録は取れていたが、見られるのは開発の担当だけで、業務の担当が自分の案件の経緯を確かめられなかった

同じ解説は、残しすぎの弊害も具体的に挙げています。保存した記録そのものが、今度は守るべき情報になります。加えて、探すのが重くなる、元に戻す作業に時間がかかる、そして何のために残したかが曖昧だと、消す判断ができなくなるという点です。増やす判断より、消す判断のほうが難しくなります。

落としどころは、型で分けることです。先ほどの4つの型のうち、上の2つを拾うだけなら本文は要りません。道具の名前と渡した条件、処理の並び、承認の有無があれば足ります。本文が要るのは、つくった文面をそのまま社外に出している業務だけです。

誰が見られるようにするか

記録を残すと決めたら、次は誰が見るかです。同じ解説（2026年9月更新）は、見る人を4つに分けています。一次対応、AI運用の担当、セキュリティの担当、監査と法務。それぞれ見える範囲を変えます。

一次対応の人が見るのは、伏せ字にした概要までです。AI運用の担当は、承認された範囲の詳細まで。セキュリティの担当は、違反や不正利用、外部への送信に関わる部分。監査と法務は、対象の期間に限って見ます。全員が全部を見られる形にしないのが要点です。

もう1つ、同じ解説は記録を見たこと、書き出したこと自体も記録すると書いています。見る側の行為が残らないと、記録の持ち出しを止められません。追えるようにするための記録が、持ち出しの経路にならないようにします。

実務では、ここが最初の壁になります。記録の置き場所をつくるのは情シスですが、いちばん見たいのは業務の担当です。業務の担当が自分の案件だけを見られる入口を1つつくる。この1つがないと、追いかけるたびに情シスへの依頼が挟まり、結局は誰も追わなくなります。

どれだけの期間残すか、費用はどこに出るか

保存期間に決まった正解はありません。先ほどの解説も統一の数字は示さず、用途ごとに決めるとしています。問い合わせ対応と不正利用の調査に必要な期間、事故の調査と再発防止に必要な期間、というように分けて考えます。

ただし、外側の制約だけは先に確かめます。同じ解説には、提供元の側で残る期間が30日という例が挙げられています。提供元の記録を当てにした設計は、その日数を超えた時点で成り立ちません。自社で残すか、提供元に頼るかは、この日数を見てから決めます。

費用の話も先に置きます。段ごとに全部残すと、記録の量は呼び出しの回数に比例して増えます。よく動く業務ほど、記録の費用が業務そのものの費用に近づきます。抑え方は2つで、本文を残す範囲を絞ることと、うまくいった仕事の記録を早く消すことです。

消す順番も決めておきます。失敗した仕事の記録は長く、うまくいった仕事の記録は短く。うまくいった記録をすべて長く持つ理由は、監査で求められる場合を除けばあまりありません。この線引きを書いておかないと、増え続けたまま誰も触れなくなります。

おかしかった値から逆にたどる

記録が揃ったら、読む順番があります。時刻の順に頭から読むのは、いちばん時間がかかる読み方です。おかしかった結果から逆にたどるほうが早く着きます。冒頭の見積の例で、この順番を追ってみます。

この4段で着かない場合は、残していた項目のどれかが欠けています。どこで止まったかを書き留めておくと、次に足す項目がそのまま決まります。追いかけに失敗したことも、記録に残す価値があります。

所要時間の目安は、記録が揃っていれば1件あたり20分ほどです。揃っていない状態で同じことをやると、半日かけても結論が出ません。追いかけの時間は、人の熟練ではなく記録の揃い方でほぼ決まります。

追いかけた結果は、原因だけでなく、どの記録を使って指せたのかまでを3行で残します。「ずれていた単価は道具から戻ってきていた」「渡した条件の日付が先月のままだった」「その条件は前の段の出力からつくられていた」。この3行があると、次に似た失敗が出たときに同じ順路をそのまま使えます。残していないと、担当が替わるたびに最初の段から探し直すことになります。

再現しない失敗をどう扱うか

追いかける途中で必ずぶつかるのが、同じ入力を入れても同じ失敗が起きないという問題です。先に触れたとおり、AIの仕組みは確率的で、実行のたびに出力が変わります。再現しないから原因がない、とは言えません。

再現を試すときは、条件を1つずつ固定します。同じ入力、同じ指示文、同じ道具の並び。それでも一致しないときは、回数で見ます。10回通して2回起きるなら、それは再現していると数えます。1回で起きなかったことを根拠に調査を閉じるのが、いちばん多い誤りです。

再現しない場合でも、記録が揃っていれば原因は指せます。そのときに動いた段の並びと、渡した条件が残っているからです。再現は原因を確かめる手段の1つであって、唯一の手段ではありません。再現に時間をかけるより、記録から条件を読むほうが早いことが多くあります。

起きた失敗は、次の題材として1件ためておきます。可観測性の解説（2026年9月更新）も、本番で起きた失敗を確かめ用の題材に戻すことを勧めています。ただし、ここでやるのは題材としてためるところまでです。直すたびに前の機能が壊れていないか確かめる仕組みをどう組むかは、この記事の範囲ではありません。

道具側の問題か、指示文側の問題か

場所が指せたら、次は切り分けです。道具の側が間違った中身を返したのか、渡す条件をつくった側が間違ったのか。ここを分けないと、直す相手を間違えます。指示文をいくら直しても、道具が古い表を返していれば結果は変わりません。

分け方は単純です。道具から戻ってきた中身が、渡した条件に対して正しいかどうかを見ます。正しければ、道具は言われたとおりの仕事をしています。問題は条件をつくった側です。逆に、条件は正しいのに中身がずれていれば、道具か、その先のデータの問題です。

記録から読み取れること	どちらの問題か	直す相手	直るまでの間の止め方
渡した条件が業務の前提とずれている	指示文と、条件を組み立てる段	AI運用の担当	条件を人が確認してから渡す形に戻す
条件は合っているが、戻ってきた中身が古い	参照先のデータか、つないでいる先	データを持つ部署または外注先	その参照先を使う処理だけを止める
同じ条件で毎回違う中身が返る	つないでいる先の不安定さ	外注先または提供元	戻ってきた中身の妥当性を機械で確かめる
条件も中身も正しいのに、最後の文だけ違う	文章をつくる段	AI運用の担当	その段の出力を人が見る工程を足す

表の4列目を用意しておくことが、実務ではよく効きます。原因が分かっても、直るまでには日数がかかります。その間に業務を止めるのか、人の確認を挟んで続けるのかを、原因の型ごとに先に決めておきます。決めていないと、毎回その場の判断になります。

なお、切り分けの結果は外注先とのやり取りでも使います。動きません、ではなく、この条件を渡してこの中身が返っています、と伝える。記録があればこの伝え方ができます。ないと、往復が何度も増えて日数だけが過ぎます。

原因の要約をAIに書かせるときの線

記録が何百行にもなると、人が全部を読むのは現実的ではありません。ここでAIに要約させるのは理にかなっています。ただし、要約させてよいのは並べるところまでで、原因を決めさせてはいけません。

理由は2つあります。1つは、記録に書かれていないことを、もっともらしい筋書きで埋めてくることです。読みやすい説明ほど疑う必要があります。もう1つは、業務の前提がAIの側に入っていないことです。先月の価格表を見たことが誤りかどうかは、社内の取り決めを知らなければ判断できません。

使い方の形は決まっています。どの記録の、どの段から言っているのかを必ず添えさせます。示せない筋書きは採りません。これだけで読む時間は大きく減り、間違った結論に引っ張られる確率も下がります。人がやるのは、示された段を開いて確かめることだけです。

念のため書き添えると、ここで扱っているのは記録の読み方です。モデルがなぜその答えを出したのかを、モデル自身に説明させる話ではありません。記録に残っているのは、何を渡して何が返ったかという事実だけで、その並びから場所を指す作業に限っています。

追える形にしておくと誰が助かるか

記録を整えるのは手間なので、誰のためにやるのかをはっきりさせておきます。助かるのは3者です。現場の担当、情シス、そして取引先への説明をする人。それぞれ助かり方が違います。

現場の担当が助かるのは、AIが間違えました、で終わらせずに済むことです。どの段でどう外れたかを言えれば、その業務だけを止めて残りを続けられます。言えないと、疑わしいものをすべて止めるしかなくなり、AIを入れる前より遅くなります。

情シスが助かるのは、直す相手を決められることです。先ほどの切り分けの表が、そのまま依頼先の振り分けになります。原因の型ごとに依頼先が決まっていれば、調べる時間が依頼の時間に変わります。

取引先への説明で助かるのは、何が起きて、いつから、どの範囲かを数字で言えることです。記録があれば、影響を受けた件数を数えられます。数えられないと、期間を広めに取って謝ることになり、信用の損ね方が大きくなります。

記録が何も残っていないところから始める

いま何も残していない場合、全部を一度に整えるのは無理です。順番があります。まず、失敗したときに困る業務を1つだけ選びます。全部の業務に同じ記録を付けようとすると、たいてい途中で止まります。

選んだ1つに対して足すのは、4つの型のうち上の2つを拾う分だけです。道具の名前、渡した条件、処理の並び、承認の有無。本文は残しません。これなら、記録の量も、守るべき情報の量も増えません。1つの業務で1週間ほどの作業です。

次に、追いかけを1回やってみます。過去の失敗でも、わざと起こした失敗でもかまいません。追いかけてみると、足りない項目が1つか2つ必ず出ます。机の上で項目を考えるより、1回追いかけるほうが早く決まります。

そのうえで、2つ目の業務に広げます。1つ目で決まった形をそのまま使うので、2つ目からは数日で済みます。形を毎回考え直さないことが、広げるときの唯一のこつです。業務ごとに書き方を変えると、読む側が追いつけなくなります。

広げる範囲の目安も先に持っておきます。すべての業務に同じ記録を付ける必要はありません。止まると社外に影響が出る業務と、取り消せない操作をする業務。この2種類に絞れば足りることが多くあります。それ以外の業務は、失敗しても社内でやり直せるので、仕事の開始と終了と結果の3つだけを残す形にしておき、費用も手間も抑えます。

業務に出す前に1枚で確かめる

ここまでの内容は、1枚の確認表に落ちます。エージェントを業務に出す前に、上から順に見る形にします。動かしてから足すのではなく、出す前に見るところが要点です。追える形は、後から足しても過去の失敗には効きません。

項目は10個に収めます。多くすると使われなくなります。載せるのは、この記事で挙げた記録の項目と、見る人の範囲と、消す期限だけです。

• 1回の仕事に1つの識別子が発行され、最後まで同じものが使われているか
• 段ごとに、渡した条件と戻ってきた中身の両方が残っているか
• 選んだ道具の名前と、使った権限が記録されているか
• 人の承認を待った段に、待ったことの記録が残っているか
• 業務側の番号と、記録の識別子が結び付いているか
• 本文を残す範囲が、業務の再現や監査に必要な分に絞られているか
• 業務の担当が、自分の案件の経緯を自分で開ける入口があるか
• 記録を見たこと、書き出したこと自体が記録されているか
• うまくいった仕事の記録を、いつ消すかが決まっているか
• 原因の型ごとに、直るまでの間の止め方が決まっているか

この表で最初に引っかかるのは、たいてい7つ目です。記録はあるのに、業務の担当が自分では開けない。ここが通らないかぎり、追いかけは情シスの仕事のまま滞り、件数が増えた時点で手が回らなくなります。

最後に、AIに決めさせない場所を2つだけ決めておきます。原因が何かという結論と、その業務を止めるかどうか。どちらも社内の事情が判断の材料になるので、記録を読む仕組みには持たせられません。並べるところまでを任せ、決めるのは人が引き受けます。

まとめ

追いかけられない失敗は、失敗そのものより長く業務を止めます。最後の結果は形として正しく見えるので、途中の段を1本の線でつないでおかないと、どこで外れたのかを指せません。残すのは段ごとの5項目で、本文は業務の再現に必要な範囲に絞り、見る人の範囲と消す期限を先に決めます。追いかけるときは時刻の順ではなく、おかしかった値から逆にたどります。まずは、失敗すると困る業務を1つ選び、道具の名前と渡した条件だけを残すところから始めてください。1回追いかけてみれば、足りない項目は自然に決まります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。