AIのオブザーバビリティとは？｜異変に気づく計器を置く

観測分野の事業者が2026年2月に公表した調査に、目を引く数字があります。生成AIの実行記録を見る取り組みについて、85%が計画していると答えたのに、完了しているのは8%。着手中が36%、まだ計画段階が41%でした。現場の声もこれと重なります。「動いてはいるのですが、うまく動いているのかは誰も見ていません」「請求が来てから、先月おかしかったと気づきました」。計器がまだ空白のまま本番が動いている、という状態です。これは監視の道具を買えば済む話ではありません。本当は何を残すかを決めた時点で、気づける範囲が決まるという設計の話です。この記事では、平常時に置く計器を、何を残すか、どの数字が先ぶれか、しきい値をどう置くか、誰がいつ見るかの順で整理します。

出す前の試験は増えたのに、動かしてからの計器がない

この2年で、出す前に測る話はかなり整理されました。題材を集め、正解と比べ、合格線を決めて出す。一方で、出したあとの計器は手つかずのまま残っています。冒頭の調査の85%対8%という差は、まさにその空白を表しています。着手中が36%、計画段階が41%という内訳も、まだ多くが「やる」と言っている段階だと示しています。

同じ調査には、生成AIを観測業務に使うことについて99%が何らかの懸念を持っているという数字もあります。内訳は情報の持ち出しが61%、事実と違う答えが53%、そもそも役に立つのかという疑いが24%。つまり道具を入れることへの警戒はあるのに、道具の前段である記録の整備が進んでいない、という順番の逆転が起きています。

記録の取り方を揃える共通の規格については、同じ調査で本番利用が11%、前年の6%からほぼ倍という数字が出ています。提供事業者の配布物を通じた利用は60%で前年の44%から伸びました。規格は固まりつつあるのに、それを使って毎日見る運用が追いついていないのが2026年の現在地です。

オブザーバビリティとは、動いている様子が見える状態

言葉の中身を先に決めておきます。監視は、あらかじめ決めた異常の条件を見張り、当たったら知らせる仕組みです。停止した、失敗率が上がった、遅くなった。条件を先に書ける異常に強い代わりに、書いていない異常は見つけません。

オブザーバビリティは、動いている様子が外から見える状態を指します。判定条件ではなく、後から問いを立てられるだけの記録が残っているかどうかの話です。「先週の火曜だけ費用が跳ねたのはなぜか」「特定の部署からの依頼だけ失敗するのはなぜか」。こうした問いは事前に条件として書けませんが、記録が揃っていれば後から追えます。

この違いは、投資の順番を変えます。監視から入ると通知の設定に時間を使い、記録の項目が足りないことに後で気づきます。記録の項目から入ると、通知は後からいくらでも足せます。AIを組み込んだ仕組みは、失敗の形が「止まる」ではなく「もっともらしく間違える」なので、条件を先に書ける異常の割合が普通の仕組みより低い。だから記録の側から作るほうが効きます。

記録は3層に分かれる

残すものは3つの層に分かれます。混ぜて考えると、量と費用の見積りが立ちません。

層	何が残るか	主な使い道
1回の実行を通しで追える記録	依頼から応答までの区間の入れ子。呼んだモデル、使った道具、それぞれの所要時間	1件の異常を追う。原因の場所を絞る
集計した数値	回数、所要時間の分布、トークン数、失敗率を時間ごとに束ねたもの	平常時に毎日見る。しきい値で通知する
中身の写し	入力した文、返ってきた文、道具に渡した値	答えの質を人が確かめる。苦情の照合

平常時の計器として毎日見るのは、真ん中の集計した数値です。1回ごとの記録は件数が多すぎて、人が毎日眺める対象になりません。集計で異変に気づき、そこから1回ごとの記録に降りるという2段構えが基本の形です。

3つ目の中身の写しは、性質がまったく違います。個人情報や取引先の情報が混ざるのはここだけで、量も最も大きい。だから残す・残さないの判断も別に立てます。次の節で見るように、規格の側は既定でここを残しません。

標準が定めた計器の一覧を、置く順番に並べ替える

何を残すかは、もう自分で考えなくてよい部分があります。実行記録の取り方を揃える共通の取り決めには、生成AI向けの計器が12種類定義されています（2026年8月時点で安定度は開発段階）。英語の項目名のまま扱うと現場に伝わらないので、日本語に開いて並べます。

1. 1回の呼び出しで使ったトークン数（入力と出力を区別して持つ）
2. 1回の呼び出しの所要時間
3. 最初のひと塊が返ってくるまでの時間
4. その後、ひと塊ごとの間隔
5. モデル側での処理時間と、1トークンあたりの時間
6. ひとつの流れ全体の所要時間
7. エージェント1回の所要時間
8. エージェント1回でモデルを呼んだ回数
9. エージェント1回で道具を呼んだ回数
10. 道具1回ごとの所要時間

そして区間の種類は3つです。エージェント全体を包む入れ物、モデル1回の呼び出し、道具1回の実行。既定で残る項目として、呼んだモデルの名前、入力と出力のトークン数、そして「なぜ生成が止まったか」の理由が挙げられています。最後の1つは見落とされがちですが、上限に達して切れたのか、道具を呼ぶために止まったのかを区別できる、実務で効く項目です。

12種類すべてを最初から置く必要はありません。置く順番があります。1番と2番と、道具1回ごとの所要時間。この3つがあれば費用と遅さと道具の失敗が見えます。エージェントを動かしている場合は8番と9番を足す。残りは、必要になった問いが出てきてから足せば十分です。

中身は既定では残らない、という前提から設計する

2026年5月14日に公表された公式の解説に、設計上とても重要な一文があります。生成AIの実行記録では、既定では入力した文の中身も道具に渡した値も残らない。機微な情報を含みうるためで、残したい場合は明示的に有効化するという作りです。残るのはモデル名、トークン数、所要時間といった付随情報だけです。

この既定は、そのまま社内の方針として使えます。つまり「まず中身なしで始める」が既定になります。中身がなくても、費用の異変、遅さ、失敗率、道具の失敗はすべて見えます。見えないのは答えの質だけです。答えの質は毎日見る対象ではなく、週に一度、抽出した数十件を人が読む形で足りることが多い。

中身を残す判断をする場合は、3つを先に決めます。伏せる項目（氏名、連絡先、口座、社外に出せない固有名詞）、抽出の割合、保管期間。全件の中身を無期限に残す設計は、費用でも情報管理でも、まず通りません。

平常時に置く5つの数字

毎日見る数字を5つに絞ります。増やすと見なくなるので、最初はこれだけにします。

• 呼び出し回数（時間ごと）。使われているかどうかと、暴走の1つ目の合図
• 所要時間の分布。中央値、上位10%、上位1%を分けて持つ。合計と平均は使わない
• 入力と出力のトークン数。合計と、1回あたりの平均の両方
• 失敗率。呼び出しの失敗、時間切れ、内容の遮断を分けて数える
• 道具の失敗率。道具ごとに分けて持つ

所要時間を分布で持つ理由は、AIを組み込んだ仕組みの応答時間が右に大きく伸びる形になるからです。平均を見ていると、ごく一部の極端に遅い呼び出しが平均に埋もれます。上位1%を別に持てば、そこだけが伸びている状態に気づけます。ある解説は、中央値と上位10%と上位1%を分けて見ることを勧めています。

道具の失敗率を道具ごとに分ける理由は、失敗が費用に跳ね返る経路があるからです。道具が失敗すると再試行が起き、再試行はモデルの呼び出しを増やし、失敗した結果が次の呼び出しの入力に積み上がって入力が長くなります。1つの道具の不調が、費用を二重三重に押し上げる構造です。

この5つは、いずれも突き合わせで判定できるものです。AIに異常かどうかを判断させる必要はありません。判断させると、なぜその判定になったのかが残らず、しきい値の調整もできなくなります。

なお、見る対象を整理する枠として、4つの群に分ける考え方が広く紹介されています。動きの性能（所要時間、処理量、トークン、失敗率）、答えの質（事実と違う答えの割合、問いへの適合、根拠との一致、依頼の完了率）、安全（有害な出力の割合、指示の乗っ取りの試行、方針違反）、事業（利用者の満足、成果への転換、1件あたりの費用）。毎日見るのは1つ目の群だけで、残りは週次と月次に配ります。

この配分を最初に決めておくのが実務上の要点です。4群すべてを毎日見ようとすると、答えの質や安全の指標は測るのに人手が要るので、必ず途中で止まります。逆に1つ目の群は自動で溜まる数字だけで構成できるので、当番が3分で見て終わる形にできます。続く運用と続かない運用の差は、ここで決まります。

異変の先ぶれは、平均ではなく比率に出る

ここが平常時の計器のいちばん実用的な部分です。費用の問題で最も早く出る合図は、費用そのものではありません。入力と出力のトークンの比の変化です。2026年4月に公表された整理は、この比の変化が費用の問題の最も早い警報になることが多いと述べています。

理由は構造にあります。入力が長くなるのは、渡している資料が増えたか、前のやり取りが積み上がったか、失敗した結果を差し戻しているかのいずれかです。どれも1回あたりの費用が上がり、しかも件数が増えなくても総額が上がります。件数と総額だけを見ていると、件数が変わっていないので誰も異常だと思わないまま総額が伸びます。

もう1つの比率が、費用の散らばりです。同じ整理は、上位1%の費用と中央値の費用の比を、4つの帯に分けて示しています。

1. 10倍未満なら健全。ばらつきの範囲に収まっている
2. 10倍から25倍は通常のばらつき。数字は残しつつ、対処は不要
3. 25倍から50倍は要注意。長い入力か、繰り返しの空回りを疑う
4. 50倍を超えたら危険。出力の上限を決めていない可能性が高い

50倍を超える場合、出力の上限が設定されていないことがほぼ確実だとされ、上限を決めるだけで出力側の費用が15%から40%下がると書かれています。ここは設定1つで効く箇所なので、先に確認する価値があります。

この比を持つには、費用を1回ごとに記録している必要があります。総額だけを日ごとに持っている運用では、この帯は計算できません。逆に言えば、1回ごとのトークン数とモデル名が残っていれば、費用は後から計算できます。金額そのものを記録する必要はなく、そこは料金表の変更にも強い持ち方になります。

しきい値は、絶対値ではなく前週の同じ時刻との比で置く

しきい値の置き方には型があります。絶対値で「1日1万円を超えたら通知」と置くと、使われ始めた時期に鳴り続け、繁忙期にも鳴り、やがて誰も見なくなります。代わりに使うのが、過去7日の同じ時刻と比べる形です。同じ整理は、その比が2倍を超えたら発報する形を挙げています。

曜日と時刻をそろえて比べるのが要点です。業務で使う仕組みは、平日の午前に集中し、休日はほぼ動きません。前日と比べると月曜が必ず跳ね、前時間と比べると始業時が必ず跳ねます。同じ曜日の同じ時刻と比べれば、この波が打ち消されます。

失敗率については、目安として一定期間の窓で1%から2%を超えたときという値が挙げられています。所要時間は絶対値ではなく、守ると決めた水準の上に置きます。逆に言えば、守ると決めた水準を書いていない仕組みでは、所要時間の通知は設定できません。ここは通知の前に決めることです。

• 比較の基準は、稼働から2週間ためてから作る。基準がない状態では、良くなったのか悪くなったのかを言えない
• しきい値は最初から正しく置けない。2週間ごとに見直す枠を運用に入れておく
• 曜日と時刻をそろえて比べる。前日比や前時間比は、業務の波でそのまま誤報になる
• 発報の条件は1つの窓で判定しない。短い窓と長い窓の両方が超えたときに鳴らすと誤報が減る

エージェントを動かすと、計器が2つ増える

道具を使って自分で手順を決める形で動かしている場合、追う対象が増えます。取り決めが定義しているのは2つで、1回の依頼でモデルを呼んだ回数と1回の依頼で道具を呼んだ回数です。どちらも分布として持ちます。

この2つが効くのは、繰り返しの空回りを早く見つけられるからです。1回の依頼でモデルを3回呼ぶのが普通の仕組みで、上位1%が40回になっていれば、そこで回り続けている件があります。合計費用だけを見ていると、この件は他の数千件に薄まって見えません。回数の分布を持てば、件数が少なくても異常な形として浮き上がります。

あわせて持つとよいのが、同じ道具を同じ値で呼んだ回数です。取り決めには含まれていませんが、記録から数えられます。同じ呼び出しの2回目が出た時点で空回りが始まっているので、費用が積み上がる前に気づけます。

費用が跳ねる3つの型

実務で見る跳ね方は3つに整理できます。それぞれ、先に出る合図が違うので、分けて持つ価値があります。

1. 繰り返しの空回り。終わりの条件に届かず同じ手を繰り返している。合図は、1回の依頼あたりの呼び出し回数の上位1%が伸びること
2. 入力が長くなる。渡す資料や過去のやり取りが積み上がっている。合図は、入力と出力のトークン比が上がること
3. 出力の上限が無い。長い応答が際限なく生成される。合図は、上位1%と中央値の費用比が50倍を超えること

この3つを分けて持つ理由は、対処がまったく違うからです。1つ目は繰り返しの上限と、進んでいないことの判定で止めます。2つ目は渡す資料の量と、過去のやり取りの畳み方の設計です。3つ目は設定1つで、しかも出力側の費用が15%から40%下がるという報告があるほど効きます。

跳ね方の型を分けておくと、通知の文面も具体的になります。「費用が上がりました」では当番は動けませんが、「呼び出し回数の上位1%が伸びています」なら見る場所が決まります。通知は、次の一手が決まる粒度で書くのが原則です。3つの型に対して3つの通知を用意すれば、それだけで当日中に切り分けられます。

費用の切り分け方も先に決めておきます。挙げられている軸は3つで、モデル別（どのモデルに寄せるかの判断に使う）、機能別（どの機能に予算を配るかの判断に使う）、利用者別（料金の設計と、想定外の使い方の検知に使う）。総額だけを持っていると、跳ねた原因の切り分けが月末までできません。

誰が、いつ見るのか

計器を置いても、見る人と時間が決まっていなければ動きません。ここは運用の設計で、道具では解決しません。持ち方は3段にします。

担当を1人に固定しないことが重要です。固定すると、その人が休んだ日に空白ができます。当番を回す形にすると、見る人が増えて仕組みの理解も広がります。ただし当番を回すには、見る手順が3分で終わる形になっていることが前提です。

そして、この当番は開発側だけの仕事にしません。費用の跳ねと答えの質の劣化は事業側の問題なので、事業側の担当も週の30分には入ります。入っていないと、しきい値が技術的な都合だけで決まります。

通知が鳴りすぎると、誰も見なくなる

計器を置いた案件が失敗する最大の理由がこれです。ある解説は、生のしきい値で発報すると短時間の跳ねで頻繁に誤報が出て、警報への慣れが生まれ、本当の問題への対応が遅れると指摘しています。鳴りすぎる通知は、通知が無い状態より悪いのは、鳴っているという事実が安心を生むからです。

減らす手は3つあります。短い窓と長い窓の両方が超えたときだけ鳴らす。同じ原因の通知を1つに束ねる。そして、鳴ったときに誰が何をするかを通知の文面に書いておく。3つ目が抜けていると、鳴っても「見た」で終わります。

• 通知の条件を絶対値だけで置く。使われ始めた時期と繁忙期に必ず鳴り、慣れが生まれる
• しきい値を最初に正しく置こうとする。2週間の基準を取る前に置いた値は、ほぼ必ず外れる
• 通知の宛先を全員にする。全員宛の通知は誰の仕事にもならない
• 鳴った件を記録せずに閉じる。誤報だったのか本物だったのかが後から分からず、しきい値を直せない
• 異常かどうかの判定をAIに任せる。判定の理由が残らず、しきい値の調整もできなくなる
• 答えの質を毎日見ようとする。続かないので、週に一度の抽出に切り替える
• 計器を置く前に道具を選ぶ。何を残すかが決まっていないと、道具の比較もできない

記録に個人情報が混ざるという問題

平常時の記録は、事故の調査と違って毎日流れ続けます。だから量が多く、混ざったときの影響も大きい。混ざる経路は3つあります。利用者が入力した文に氏名や連絡先が含まれる、渡した資料に人事や取引先の情報が入っている、道具に渡した値に識別子が入っている。

対処の順番は決まっています。まず、取らない。既定で中身を残さない作りを活かし、集計した数値だけで運用を始めます。次に、取るなら伏せる。氏名、連絡先、口座、社外に出せない固有名詞を、記録する前に置き換えます。最後に、置き場を分ける。中身の写しだけを別の場所に短い期間で置き、集計の数値とは分けて権限を掛けます。

運用の文書に書くのは3行です。何を伏せるか。誰が中身を見られるか。いつ消えるか。この3行が無い状態で中身を残し始めると、後から止めるのも消すのも、経路の特定から始めることになります。

残す期間と、保管の費用

保管期間は、費用で決まると思われがちですが、実際には費用ではあまり決まりません。2026年4月の整理には目安があります。1日100万回の呼び出しを90日残す場合、保存そのものは月に1ドルから4ドル、集計や検索のための計算資源が月に30ドルから80ドル。桁で言えば、置いておく費用は問題になりません。

決め手になるのは3つです。異変に気づいてから遡って原因を追える長さ（多くの場合は30日から90日）、苦情や照会に答える必要のある期間（契約や社内規程に書かれている）、そして中身の写しを持つ場合の情報管理上の期間（短くする方向に働く）。層ごとに違う期間を置くのが正解で、集計した数値は長く、中身の写しは短く持ちます。

そしてもう1つ、期間より効くのが取り出しやすさです。90日残っていても、特定の依頼の記録を10分で引けなければ使えません。依頼の識別子、利用者、機能、日時の4つで引ける形にしてあるかを確認してください。ここが揃っていないと、期間を延ばしても記録は使われないまま溜まります。

計器を置くところまでは、AIに任せない

最後に線を引きます。記録を要約させる、傾向をまとめさせる、といった使い方はできます。ただし異常かどうかの判定をAIに任せないほうがよい理由が3つあります。

1つ目は、判定の理由が残らないことです。しきい値であれば「前週同時刻比が2.3倍だった」と残りますが、AIの判定では何を見て異常としたのかが揺れます。2つ目は、調整ができないことです。誤報が多いときに何を直せばよいのかが分かりません。3つ目は、平常時の判定はそもそも突き合わせで足りることです。比率と分布の比較に、判断は要りません。

人が確認する範囲は、逆に先に狭く決めておきます。毎日は5項目の一覧だけ。週に一度、抽出した20件から30件の答えを読む。月に一度、しきい値と費用配分を見直す。この範囲を決めておかないと、確認は必ず全件の見直しに膨らみます。膨らんだ確認は続かず、続かない確認は無いのと同じです。

実務仕様：置く計器と、持ち主の一覧

着手の材料として、置く項目と持ち主をまとめます。1本目の仕組みなら、この形でそのまま始められます。

置くもの	粒度	見る頻度	持ち主
呼び出し回数	機能別・時間別	毎日	運用の当番
所要時間の分布	中央値と上位10%と上位1%	毎日	運用の当番
入力と出力のトークン数とその比	機能別・日別	毎日	運用の当番
失敗率（失敗・時間切れ・遮断を分ける）	機能別・日別	毎日	運用の当番
道具の失敗率	道具別・日別	毎日	開発の担当
1回の依頼あたりの呼び出し回数	分布（上位1%）	毎週	開発の担当
費用の機能別・利用者別の内訳	日別	毎週	事業側の担当
抽出した答えの読み合わせ	20件から30件	毎週	事業側の担当
しきい値と誤報の件数	通知別	毎月	運用の責任者

この表で決まっていないものが1つあります。守ると決めた応答時間の水準です。これは計器ではなく約束なので、事業側が決めます。決まっていない状態では、所要時間の通知は設定できません。決めるときは、何ミリ秒を何パーセントの依頼で守るのかという形で書きます。

そして、この一覧は最初から全部埋めなくてよい。毎日の5行と、道具の失敗率だけで始めて、2週間の基準が取れてから週次の行を足す。置いた計器を毎日見る習慣のほうが、計器の数より効きます。

まとめ

動いているAIの様子が見える状態を作るのは、道具を買う仕事ではなく、何を残すかを決める仕事です。観測分野の事業者が2026年2月に公表した調査では、生成AIの実行記録を見る取り組みを85%が計画しているのに、完了しているのは8%でした。規格の側は整いつつあり、共通の取り決めには生成AI向けの計器が12種類定義されています。空白なのは、それを使って毎日見る運用のほうです。

残すものは3層に分かれます。1回の実行を通しで追える記録、集計した数値、中身の写し。毎日見るのは真ん中の集計で、異変に気づいたら1回ごとの記録に降りる。中身の写しは既定では残らない作りになっているので、まず中身なしで始めて、必要になったら伏せる項目と抽出の割合と期間を決めてから足します。

平常時に見る数字は5つで足ります。呼び出し回数、所要時間の分布、入力と出力のトークン数、失敗率、道具の失敗率。先ぶれとして最も早いのは入力と出力のトークン比の変化で、上位1%と中央値の費用比が50倍を超えていれば出力の上限が決まっていない可能性が高く、上限を決めるだけで出力側の費用が15%から40%下がるという報告があります。しきい値は絶対値ではなく、過去7日の同じ時刻と比べて2倍を超えたら発報という形で置き、失敗率は1%から2%を目安にします。

最後に運用です。毎朝3分の一覧、週に30分の分布と抽出、月に1時間のしきい値の見直し。当番は回し、事業側の担当も週の30分に入れる。そして異常かどうかの判定はAIに任せず、比率と分布の突き合わせで済ませる。判定の理由が残る形にしておけば、しきい値は運用しながら直せます。計器を増やすより、置いた5つを毎日見る習慣を先に作ってください。異変に気づける会社は、道具が優れている会社ではなく、毎朝3分を続けている会社です。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。