Judgment Labs導入前の確認項目|隠れた失敗の拾い方

「エージェントを本番に出したが、エラーの通知は一度も来ていないので問題ないはずだ」「顧客から指摘されて初めて、間違った案内を何週間も続けていたと分かった」——社内でAIエージェントを作り、問い合わせ対応やマーケの作業に使い始めた企業で、立て続けに聞かれる声です。米国の Judgment Labs は、こうした本番での失敗を記録から見つけるための基盤を、2026年10月27日に一般に公開しました。エージェントの失敗の多くはエラーとしては出てこず、正常に終わった実行の中に埋もれています。この記事では、自社で作ったエージェントを例に、Judgment Labs を入れる前に確かめておく項目を、失敗の型の決め方、判定役のAIの検め方、個人情報、止め方、外注先との持ち分、費用とやめ方の順に整理します。
カメ先生エージェントの監視というと、止まったり落ちたりしたときに通知が来れば十分だと思われがちなんだけど、本当に困るのは、最後まで動いたのに中身が間違っていた実行なんだ。
カメ子処理は正常に終わっているのに、答えや操作が間違っている、ということですか。
カメ先生そう。検索が空振りしたのに「見つかりませんでした」と打ち切ったり、失敗した操作を「完了しました」と報告したりする。どれもエラーの記録には残らないんだよ。
カメ子だから、何を失敗と呼ぶかを先に決めて、記録の中から探しにいく必要があるんですね。
- Judgment Labs は本番で動くエージェントの記録を集め、判定役で採点し、繰り返す失敗の型を見つける米国の基盤。2026年10月に一般公開された
- 何を失敗と呼ぶかは業務の持ち主が決める。判定役のAIの結果は、人の抜き取りと突き合わせてから警告や改善に使う
- 記録には顧客の発言が入る。置き場所・保存期間・外注先が見られる範囲・止める権限を、入れる前に決めておく
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
Judgment Labs は、本番で動くエージェントの「失敗の型」を見つける基盤
Judgment Labs は、長い手順をこなすAIエージェントのための、監視と改善の基盤を提供する米国の会社です。公式サイトは「エージェントが間違えたことを見つけて直す」と掲げ、エージェントの実行の記録(呼び出したモデル、使った道具、下位のエージェントの動きまで)を取り込み、それを採点し、繰り返し起きている失敗を浮かび上がらせる仕組みを売りにしています。
公式サイトに並ぶ機能は、実行の記録、判定役による採点と常時監視、繰り返す失敗の自動発見、条件と意味の両方で記録を探す検索、判定役が人の判断と合っているかを確かめる機能、公開前の試験、定期の点検、Slack への通知、MCP 経由での利用などです。失敗の自動発見については、間違った金額での返金や、同じ道具の呼び出しの繰り返しを例に挙げています。
記録の取り込みには、同社がオープンソースで公開している Python の開発用ライブラリ Judgeval を使います。GitHub の公開の置き場では Apache 2.0 の許諾で公開されており、記録の取得、判定役による評価、本番の通信の採点、Slack への通知の設定などを備えると説明しています。記録を取る部分は公開されたコードで中身を確かめられ、採点や保存は同社の基盤で行うという分担です。
2026年の動き:5月の資金調達、7月の振る舞いのラベル、10月の一般公開
2026年5月、Judgment Labs はシード期とシリーズAを合わせて3,200万ドルの資金調達を公表しました。続いて7月8日には公式ブログで、本番の記録に意味のあるラベルを付けて改善に使う考え方を発表しています。同社が Behaviors と呼ぶ振る舞いのラベルは、記録の中で繰り返し現れる型に名前を付けるもので、判定役が条件を満たしたと判断した記録にラベルが付き、その根拠となった箇所も示されます。
10月27日には、技術系の報道サイトが、同社が監視と改善の基盤を誰でも使える形で公開したと報じました。報道によると、同社の経営者は、手作業の評価の流れがエージェントの変化に追いつかず、初期の顧客の中には利用者からの指摘で問題を知る例があったと説明しています。なお同じ報道は、規模や性能に関する数字は同社の発表であり、第三者による確認はされていないと注記しています。
つまり、Judgment Labs は資金を得て製品を一般に開いたばかりの段階にあります。機能の追加が速い一方で、日本語の情報や国内の導入事例はほとんどありません。この記事の内容は2026年11月初めの公式サイト・公式ブログ・公式ドキュメントに基づくもので、検討時には最新の説明を必ず確かめてください。
誤解:「エラーが出ていなければ、エージェントは動いている」
従来のシステムの監視は、止まった、落ちた、時間がかかりすぎた、を見るものでした。エージェントでも同じ監視は要りますが、それだけでは足りません。7月の公式ブログが挙げる失敗の例には、一度の検索が空振りしただけで探すのをやめる、失敗した操作を成功したと報告する、断るべきでない依頼を断るといったものがあり、どれもシステムとしては正常に終わっています。
さらに厄介なのは、こうした失敗が一件ずつ見ると些細に見えることです。一回の空振りや一回の言い間違いは、人が気づいても「たまたま」で片づけられがちです。しかし同じ型が数百件、数千件と積み重なると、問い合わせが解決しない、顧客が同じ質問を繰り返す、といった形で事業の数字に出てきます。失敗は一件ではなく型として捉えないと、数として見えてこないのです。
エージェントの評価をどう組み立てるかという一般論は別の記事で扱いました。ここで問題にするのは、すでに本番に出たエージェントの記録の中から、動いたのに失敗していた実行をどう拾い、誰が見て、どこで止めるかです。Judgment Labs はこの「本番に出たあと」に特化した道具なので、入れる前に社内の段取りを決めておかないと、通知と記録が増えるだけで何も変わりません。
シナリオ:問い合わせ対応とマーケの作業代行を本番に出した会社
ここからは、業務用のクラウドサービスを売るBtoB企業を仮の例として追います。この会社は開発会社に外注して、二つのエージェントを作りました。一つは、顧客向けの専用画面で使い方の質問に答え、必要ならサポート担当に引き継ぐ問い合わせ対応のエージェントです。もう一つは、ウェビナーの参加者の記録をもとにお礼のメールの下書きを作り、顧客管理の項目を更新するマーケの作業代行のエージェントです。
どちらも公開前の試験には合格し、本番に出て二か月が経ちました。エラーの通知はほとんど来ていません。ところが、サポート部門からは「エージェントが案内した手順で解決しなかったという問い合わせが増えている」、マーケ部門からは「参加者の一部にお礼のメールが送られていなかった」という報告が上がり始めました。どちらも、エージェントの記録を見れば分かるはずなのに、誰も記録を見ていなかったのが実情です。
この会社は、外注先が開発時に使っていた記録の仕組みはあるものの、本番の記録を業務部門が見る体制がありませんでした。そこで、本番の記録を集めて失敗の型を見つける基盤として Judgment Labs を検討することになります。以下では、この会社が入れる前に確かめた項目を、順に見ていきます。
「動いたが失敗していた」実行は、三つの側から起きる
7月の公式ブログは、振る舞いのラベルを、利用者の振る舞い、エージェントの振る舞い、エージェントを取り巻く環境の振る舞いの三つに分けて説明しています。この分け方は、失敗の原因を誰が直すかを決めるうえでも役に立ちます。シナリオの会社の二つのエージェントに当てはめると、次のようになります。
| 分類 | 公式ブログの例 | シナリオで起きていたこと | 直す担当 |
|---|---|---|---|
| 利用者の振る舞い | 答えを外したあとの聞き直し、不満、担当者への引き継ぎの要求 | 同じ質問を言い換えて三度聞く顧客が増えていた | サポート部門(案内の中身) |
| エージェントの振る舞い | 一度の空振りで検索をやめる、失敗した操作を成功と報告する | 顧客管理の更新に失敗したのに「更新しました」と記録していた | 外注先(エージェントの作り) |
| 環境の振る舞い | 道具の結果が空、古い知識、項目の不一致、時間切れ、回数制限 | 製品の手順書の古い版を参照して案内していた | 情シス・マーケ(元データの管理) |
表のとおり、同じ「解決しなかった」という結果でも、原因が利用者の側の兆候なのか、エージェントの作りなのか、参照している資料や外部の道具なのかで、直す人が変わります。失敗の型を分類しておくと、見つけたあとの持ち込み先が決まるので、監視が「見つけて終わり」になりにくくなります。
シナリオの会社では、お礼のメールが送られなかった件を記録から調べたところ、参加者の記録を取りに行く道具が時間切れになった実行で、エージェントが空の結果をそのまま「対象者なし」と扱っていたことが分かりました。環境の失敗とエージェントの失敗が重なって起きていたわけで、どちらか一方だけを見ていたら原因にたどり着けなかったはずです。
確認1:何を失敗と呼ぶかは、業務の持ち主が決める
Judgment Labs では、判定役を作り、その判定役が記録を採点して、条件に当てはまればラベルを付けます。判定役には、条件や数値で機械的に判定するものと、AIに採点させるものがあります。ここで大事なのは、判定の基準を書くのは開発者ではなく、その業務の持ち主だという点です。「顧客の質問に正しく答えたか」の正しさは、サポート部門にしか定義できません。
シナリオの会社では、サポート部門の責任者と外注先の開発者が半日の打ち合わせを持ち、問い合わせ対応のエージェントについて、拾いたい失敗の型を七つに絞りました。三度以上の聞き直し、引き継ぎ要求の無視、手順書にない操作の案内、料金や契約への言及、などです。最初から数十の型を並べず、事業への影響が大きいものから少数に絞るのが、判定の質を保つ近道です。
- 開発者が思いつく失敗の型をそのまま判定役にして、業務部門が中身を知らない
- 「回答の品質が低い」のような曖昧な基準でAIに採点させ、何が悪いのか分からない
- 型を増やし続けて、どの通知が重要か誰も判断できなくなる
- 失敗の型の定義を文書に残さず、担当者が替わると基準が変わる
型の定義は、判定役の設定とは別に、業務部門が読める文書として残しておきます。何を失敗と呼び、なぜそれが問題で、見つけたら誰に回すのか。判定役の中身はAIへの指示文や条件式ですが、その元になる定義が業務部門の言葉で書かれていないと、後で判定がずれたときに誰も直せません。
確認2:判定役のAIを、人の抜き取りで確かめてから使う
AIに採点させる判定役は便利ですが、AIが下した判定をそのまま信じるのは危険です。Judgment Labs の公式ドキュメントには、判定役の判定と人の判断を突き合わせる機能があり、過去に人が下した判断と、それが判定役と一致したかを一覧で確かめられると説明しています。人が付けた判定は、ラベル付きの試験データとして残すこともできます。
シナリオの会社では、判定役を本番の監視に使う前に、過去二週間の記録から百件ほどを抜き出し、サポート部門の二人がそれぞれ判定を付けました。そのうえで判定役の判定と比べ、人どうしでも判定が割れた記録は、型の定義そのものが曖昧だという合図として定義を書き直しています。人と判定役の一致が業務部門の納得できる水準になるまで、警告には使いませんでした。
判定役には、判定の理由と、根拠になった記録の箇所を必ず出させます。7月の公式ブログでも、判定の根拠となる出来事を記録の中で強調表示し、チームが証拠を確かめられるようにすると説明しています。理由と根拠の箇所が示されない判定は、人が検め直せないので、警告にも改善にも使わない、と決めておきます。判定役のAIに「失敗かどうか」を最終的に決めさせるのではなく、人が見るべき記録を選ばせる、という位置づけです。
確認3:全件を見るか、抜き取るか——対象の条件と抽出率
公式ドキュメントによると、本番の監視では、判定役がどの記録を採点するかを条件で絞れます。条件を付けなければすべての記録が対象になり、処理時間、モデルの費用、エラーの有無、特定の処理の名前などで絞ることもできます。また、採点する記録の割合を0から100%の間で決められ、件数の多い場面では割合を下げて費用を抑えるよう案内しています。
ここで決めるのは、見落としてはいけない失敗と、傾向が分かれば十分な失敗を分けることです。料金や契約への言及、個人情報の漏れのように一件でも問題になる型は、条件を絞ったうえで全件を採点します。聞き直しの多さのように傾向を見たい型は、一部を抜き取って採点すれば足ります。会話全体をまとめて採点する設定もあり、一定時間やりとりがない、または一定数の記録がたまった時点で採点を始められます。
注意したいのは、監視を有効にした後に届いた記録しか自動では採点されない点です。過去の記録を採点するには、記録を選んで手動で判定役を走らせます。公式ドキュメントは、この手動の採点では判定役に設定した後続の動作(通知など)は送られないと説明しています。導入初日から過去の失敗が自動で洗い出されるわけではないので、過去分は手動で採点し、結果を人が見る段取りを組んでおきます。
確認4:記録に個人情報が入る問題
エージェントの記録には、顧客が入力した文章、エージェントの回答、道具に渡した値と返ってきた値がそのまま残ります。問い合わせ対応なら顧客の氏名や会社名、契約の内容が、マーケの作業代行ならウェビナー参加者の連絡先が入ります。記録を外部の基盤に送ることは、顧客の情報を外部に預けることと同じだと考えて、入れる前に整理します。
公式サイトでは、同社の運用する環境に置く形に加えて、上位のプランでは自社の AWS や Google Cloud の契約の中で動かす形を選べると説明しています(Azure は予定と表示)。また、SOC2(タイプ2)の報告書と米国の医療情報の規制への対応、記録をモデルの学習に使わないこと、シングルサインオンや役割ごとの権限を挙げています。保存期間は有料の中位のプランで180日、上位のプランで個別に設定と案内しています。
- 記録に入る個人情報の種類を、エージェントごとに洗い出す(氏名・連絡先・契約内容・自由記述)
- 送る前に伏せられる項目は、記録を取る側で伏せる。伏せると判定できなくなる型がないかも確かめる
- 置き場所(同社の環境か自社のクラウドか)と保存期間を、社内の規程と個人情報の委託の扱いに照らして決める
- 判定役がAIに採点させるとき、記録の中身がどのモデルの提供元に渡るかを問い合わせて確かめる
- 記録を見られる人を、業務部門・外注先・情シスごとに分け、閲覧の記録を残す
とくに確かめたいのは、判定役のAIが記録を採点するときに、記録の中身がどこで処理されるかです。公式ドキュメントには判定役の実行は同社の基盤で行うとありますが、どのモデルの提供元に何が渡るかは、公開情報からは読み取れませんでした。自社の個人情報の扱いの規程に照らして、契約前に書面で回答をもらう項目に入れておきます。
確認5:見つけた失敗を、誰が見て、どこで止めるか
失敗の型が見つかっても、誰かが見て、必要ならエージェントを止めなければ何も変わりません。Judgment Labs は Slack への通知や定期の点検を用意していますが、通知を受けた人が止める権限を持っているかは、道具ではなく社内の取り決めの問題です。シナリオの会社では、型ごとに受け取る人と、止めてよい人を次の手順で決めました。
一件でも顧客に損害が出る型(料金・契約への言及、個人情報の漏れ)、件数が増えると問題になる型(聞き直し、引き継ぎの無視)、傾向を見る型(空振りの多さ)に分けます。
即時通知はサポート部門の当番とエージェントの持ち主に送り、週次の一覧は定例の会議で見ます。全部を即時通知にすると、誰も見なくなります。
重い型が出たとき、エージェントの持ち主が外注先を待たずにエージェントを止められるよう、停止の手順と連絡先を一枚にまとめておきます。
問い合わせ対応を止めたら、顧客には人の窓口を案内します。止めるたびに顧客を放り出さない段取りがあって初めて、止める判断がしやすくなります。
止める判断をAIに任せないことも決めておきます。公式ブログは、ラベルをきっかけに警告を出したり、原因を調べるエージェントに振り分けたりする自動化を例に挙げていますが、シナリオの会社では、エージェントの停止そのものは人が判断することにしました。判定役が誤って重い型を付けたとき、自動で止まると顧客対応が途切れるからです。
確認6:改善の結果を、いつ本番に戻すか
失敗の型が分かったら、外注先がエージェントの指示文や道具の使い方を直します。問題は、その修正で別の失敗が増えていないかです。Judgment Labs は、ラベルの付いた記録を集めて試験用のデータにし、修正版のエージェントで試してから公開する使い方を示しています。7月の公式ブログも、変更案が新しい実行に影響するかを比べる試験を、ラベルの使い道として挙げています。
シナリオの会社では、本番に戻す条件を三つ決めました。見つかった失敗の型の記録を集めた試験で改善していること、これまで問題のなかった記録の試験で悪化していないこと、そして業務部門の担当者が修正後の回答を数十件読んで納得したことです。点数が上がったことだけでは戻さず、業務部門の目で読んで確かめることを条件に入れています。
判定役そのものの変更にも同じ注意が要ります。公式ドキュメントでは、判定役の下書きは公開するまでラベルを付けず、本番の監視は公開された版で動くと説明しています。判定役の基準を変えると、過去と現在のラベルの数が比べられなくなります。判定役を変えた日を記録しておき、数の増減が基準の変更によるものかを見分けられるようにすることが、週次の振り返りを正しく行う前提になります。
確認7:開発の外注先との持ち分
社内のエージェントを外注で作った会社では、記録と判定の持ち分があいまいになりがちです。外注先は開発中に自分たちの道具で記録を見ていても、本番に出たあとの記録を誰が見るかは契約に書かれていないことが多いからです。Judgment Labs を入れるなら、契約の名義、判定役の基準、記録の閲覧の三つを、どちらが持つかを決める必要があります。
| 持ち物 | 自社が持つ | 外注先が持つ |
|---|---|---|
| 基盤の契約と管理者の権限 | 契約の名義と管理者。外注先には必要な範囲の権限を付与 | 付与された範囲での操作 |
| 失敗の型の定義 | 業務部門が定義し、文書で管理 | 定義を判定役の設定に落とし込む |
| 判定役と人の判断の突き合わせ | 業務部門が抜き取りで判定する | 突き合わせの結果を受けて判定役を直す |
| 記録の閲覧 | 業務部門と情シス | 改善に必要な範囲で閲覧。閲覧の記録を残す |
| 修正版を本番に戻す判断 | 業務部門が承認 | 試験の結果を報告する |
とくに、基盤の契約を外注先の名義にしないことが大切です。外注先の名義のままだと、契約が終わったときに記録と判定役の設定が手元に残らず、顧客の発言を含む記録が外注先の管理下に残ります。契約と管理者の権限は自社で持ち、外注先には業務に要る範囲だけを開く形にしておけば、外注先を替えても監視は途切れません。
確認8:オープンソースの Judgeval から始めるか、基盤を契約するか
Judgeval は Apache 2.0 で公開されているので、記録を取る部分のコードは誰でも読めます。公式の案内では、記録の取得は広く使われている観測の標準の仕組みの上に作られており、OpenAI、Anthropic、Google のモデルの呼び出しや、Claude のエージェント開発の部品などと組み合わせられるとしています。ただし、採点、監視、保存、検索といった中心の機能は同社の基盤で動くので、ライブラリだけで監視が完結するわけではありません。
始め方としては、無料のプランで一つのエージェントの記録を取り、判定役を二つか三つ作って、人の抜き取りと突き合わせてみるのが手堅い方法です。公式の料金ページでは、無料のプランに初月の利用枠と、取り込み1GB、評価の実行1万回の無料枠があると案内しています。試すときは、個人情報を含まない試験用の会話か、伏せた記録だけを流すようにします。
すでに別の観測の道具を開発で使っている場合は、記録を二重に送ることになるのかも確かめます。開発者向けの観測と、業務部門が失敗の型を見る監視とを同じ道具で済ませるか、分けるかは会社によって違います。エージェントの記録を自社のデータの倉庫に置いて事業の数字と並べて分析する考え方は別の記事で書いたので、そちらと比べて判断してください。
費用の増え方と、やめ方
公式の料金ページでは、無料のプラン、月250ドルの有料のプラン(利用枠250ドル分、取り込み50GB、評価の実行5万回、保存180日を含む)、個別見積もりの上位のプランを示しています。判定役の実行は同社独自の利用単位を消費すると公式ドキュメントにあり、費用は記録の量と、判定役を走らせる回数に比例して増える構造です。
費用が膨らみやすいのは、長い手順のエージェントほど一回の記録が大きくなること、判定役を増やすほど採点の回数が掛け算で増えること、AIに採点させる判定役はそのぶんモデルの費用もかかることです。抽出率を下げる、対象の条件を絞る、傾向を見る型は会話単位でまとめて採点する、といった調整で抑えます。判定役ごとの費用と、見つけた失敗の件数を並べて月次で見直すと、効いていない判定役を外す判断がしやすくなります。
やめ方も入れる前に決めておきます。やめるときに残すべきものは、失敗の型の定義の文書、人が付けた判定の試験データ、判定役の指示文の三つです。記録そのものは、保存期間の終了か削除の依頼で消えることを確かめます。記録を取るライブラリはエージェントのコードに組み込まれているので、外す作業を外注先に頼む費用と時間も見込んでおく必要があります。自社のクラウドの中で動かす形を選んだ場合は、その環境の撤去の手順も確かめます。
導入前の確認項目一覧
ここまでの確認を、入れる前に関係者で読み合わせる一覧にまとめます。すべてに答えが出てから契約するのが理想ですが、少なくとも上の五つは、試用の段階で決めておきます。
- 監視するエージェントと、その業務の持ち主が決まっている
- 拾いたい失敗の型を、業務部門の言葉で七つ前後に絞って文書にした
- 判定役のAIに理由と根拠の箇所を出させ、人の抜き取りと突き合わせる段取りがある
- 重い型の通知を受ける人と、エージェントを止めてよい人が決まっている
- 止めたときの代わりの窓口(人の対応)が用意されている
- 記録に入る個人情報を洗い出し、伏せる項目と置き場所と保存期間を決めた
- 判定役の採点で記録がどのモデルの提供元に渡るかを、書面で確かめた
- 基盤の契約と管理者の権限を自社で持ち、外注先の閲覧範囲を決めた
- 修正版を本番に戻す条件(試験の結果と業務部門の承認)を決めた
- 判定役ごとの費用と見つけた件数を月次で見直す場がある
- やめるときに残すもの(型の定義・人の判定・指示文)と、ライブラリを外す手間を見込んだ
一覧の項目のうち、道具の機能で解決するのは一部にすぎません。多くは、誰が決め、誰が見て、誰が止めるかという社内の取り決めです。Judgment Labs のような基盤は、その取り決めを記録の上で回すための道具であり、取り決めの代わりにはなりません。
まとめ
Judgment Labs は、本番で動くエージェントの記録を集め、判定役で採点し、動いたのに失敗していた実行を型として見つける米国の基盤です。2026年5月の資金調達、7月の振る舞いのラベル、10月の一般公開と、ここ半年で製品の形が整ってきました。ただし、何を失敗と呼ぶかは業務の持ち主が決め、判定役のAIの結果は人の抜き取りで確かめ、エージェントを止める判断は人が持つ、という線は道具が引いてくれません。記録に入る個人情報の置き場所と保存期間、外注先との持ち分、費用の増え方とやめ方まで決めてから入れれば、エージェントの失敗を顧客より先に見つけられる体制に近づきます。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
