LuminosAIで法的リスクを見落とす原因|試験の合否を誰が決めるか

「顧客向けのAIを公開する前に法務の確認を通したのに、公開から数か月後に、約束していない返金を案内していたことが分かった」「試験を自動化する道具を入れたいが、その合格を法務の判断として扱ってよいのか分からない」——社外に出るAIを抱える情報システム部門と法務部門から、2026年に入って同時に聞くようになった声です。米国の LuminosAI は、生成AIやAIエージェントの出力を、法的な責任の観点で自動的に試験する基盤です。2026年2月に試験の仕組み Lighthouse を、5月に公開後も試験を続ける Monitors を発表しました。法的リスクを見落とす原因は、試験の道具の性能より手前にあります。何を題材に、どの基準で、誰が合否を決めるかが決まっていないことです。この記事では、公式サイトと公式の発表で確かめられる範囲で、LuminosAI を使っても見落としが起きる五つの原因と、その対策、社外に出るデータ、費用とやめ方を整理します。
カメ先生AIの出力を自動で試験すれば、法的なリスクは見つけきれると思われがちなんだ。でも本当は、試験が見つけられるのは、試験の題材に入っていて、採点の基準に書かれていることだけなんだよ。
カメ子題材と基準の外で起きた問題は、合格の中に紛れてしまう、ということですか。
カメ先生そう。それに、自動の採点はあくまで試験の結果で、法律上の判断ではない。LuminosAI のような道具を入れるときは、題材を誰が作り、基準を誰が書き、合否を誰が決めるかを先に分けておく必要があるんだ。
カメ子道具が出すのは判定の材料で、判定そのものは人が下すんですね。
- LuminosAI は、法的リスクに対応した規定の集まりでAIの出力を試験し、平易な文書にまとめる基盤。2026年2月に Lighthouse、5月に公開後の継続試験 Monitors を発表した
- 見落としの原因は、題材と実際の使われ方のずれ、基準の持ち主の不在、自動の採点を法務の判定にすること、公開後の変化、記録の形の五つ
- 題材は実際の記録から作り、基準は日本の法令と社内規程に置き換え、合否の線と人が判定する範囲を分け、渡す会話の記録の範囲を先に決める
あなたのWebサイトは、AIによる攻撃に耐えられますか?
AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。
LuminosAIとは:AIの出力を、法的リスクの観点で試験する基盤
LuminosAI は、2023年に創業し、米国のワシントンに拠点を置く企業です。共同創業者で最高経営責任者のアンドリュー・バート氏は、AIの法律問題を扱う法律事務所を共同で立ち上げた経歴を持ちます。名前の似た法律事務所は2025年に別の法律事務所に買収されていますが、LuminosAI はその法律事務所とは別の会社で、自身の買収の報道は見当たりません。両者は2026年3月に、法律事務所の助言と LuminosAI の自動試験を組み合わせた提供を共同で発表しています。
中心にあるのは、公式が「憲章」と呼ぶ規定の集まりです。2026年2月の発表では、ガバナンスの担当者が、欧州のAI法、米国の NIST のAIリスク管理の枠組み、データ保護の規則、不公正・欺瞞的な取引の規制といった特定の法的リスクに結び付いた規定を作り、Lighthouse がその一つひとつに対してAIを試験すると説明されています。対象になるのは、「こうする」「こうしない」という形で書け、守れているかを測れる法的リスクだとされています。
試験の結果は、リスクの分布図と平易な言葉の説明を含む一つの文書にまとめられます。公式は、法務と技術の担当がリスクの覚え書きを何度も書き直して議論する手間をなくすと説明し、試用の顧客が顧客向けのチャットボットや社内の業務用のAIの承認にかかる期間を「数週間から数分に」縮めたと書いています。ただし、この数字の測り方や顧客の名前は示されていません。
2026年の動き:Lighthouse から Monitors、そして非技術者向けの試験へ
公式の発表を日付で追うと、2026年の LuminosAI は三つの段階で動いています。2月24日に Lighthouse を発表し、同時にベンチャーキャピタルの M13 が主導する資金調達を公表しました(金額は非公表)。2月には、ガートナーのAIの信頼・リスク・セキュリティ管理に関する調査報告で取り上げられたことも発表しています。
5月13日には Monitors を発表しました。公開の前と後の両方で、生成AIとエージェントの法律・規制・コンプライアンスのリスクを継続して評価する仕組みで、API から呼び出し、開発と配信の自動化の流れに組み込めると説明されています。発表は、不透明な判断、差別的な出力、機微な情報の誤った扱い、資格の要る職業の無資格での実施を挙げ、こうした問題はモデルの変化、用途の広がり、新しい規制の施行によって、公開の後から現れると指摘しています。
10月時点の公式トップページは、さらに打ち出しを変えています。エージェントを説明すると、LuminosAI がリスクを洗い出し、試験を書き、実行して報告を返すという、コードを書かずに使える品質確認として紹介され、Copilot Studio から Agentforce まで主要なエージェントの基盤に対応すると書かれています。10月には Copilot Studio の利用者に向けた公開書簡も出しており、法務の担当だけでなく、業務部門がエージェントを作る現場に使い手を広げようとしている流れが読み取れます。
このほか5月29日には、倫理的な技術の普及に取り組む団体による、AIガバナンスの実務に関する認証を、事業者として初めて受けたと発表しています。こうした認証や調査報告への掲載は、事業者を選ぶときの手がかりにはなります。ただし、認証を受けているのは試験の道具を提供する事業者であって、自社のAIが法令に適合していることを示すものではありません。社内の承認の書類に「認証を受けた道具で試験済み」とだけ書いて済ませないよう、この区別は最初に共有しておきます。
課題:試験に通ったのに、公開後に問題が出る
自動の試験を入れた会社で起きやすいのは、試験の結果は良好だったのに、公開後に想定外の問題が見つかるという形の見落としです。顧客向けのAIが、規定にない値引きを示唆した、ある属性の利用者にだけ不利な案内をした、問い合わせの中で受け取った個人の情報を別の回答で繰り返した、といった問題が、試験の報告書では合格の欄に入っていたというものです。
この見落としは、試験の道具の出来とは別のところで起きます。顧客向けAIにそもそも答えさせない項目の決め方や、誤答の責任がどこに向かうかは別の記事で扱っているので、ここでは「試験をしたのに見落とす」理由に絞ります。見落としの多くは、何を試し、何を基準にし、結果をどう扱ったか、という試験の設計と運用の側にあります。
- 開発の担当が思いついた質問だけで試験し、実際の問い合わせの言い回しを使わない
- 米国の法令に結び付いた既成の規定で採点し、日本の法令や社内規程に置き換えない
- 試験の報告書の合格を、そのまま法務の承認として扱う
- 公開前に一度試験しただけで、指示文やモデルを変えた後に試験し直さない
- 試験の結果を画面で見ただけで、どの版の何を試したかを残さない
以下では、見落としの原因を五つに分け、それぞれに対策を当てていきます。原因の多くは、道具を替えても消えないので、LuminosAI を選ぶかどうかとは別に、自社の試験の設計として決めておくべきことでもあります。
原因1:試験の題材が、実際の使われ方とずれている
一つ目の原因は、試験に使う題材です。試験の題材は、AIに投げかける質問や会話の組み合わせのことで、これが実際の顧客の使い方と違っていると、どれだけ基準が正しくても見落としが出ます。開発の担当が作った題材は、行儀のよい質問が中心になりがちです。実際の顧客は、怒りながら返金を迫ったり、別の商品と取り違えたまま質問したり、何度も言い換えて答えを引き出そうとしたりします。
LuminosAI の公式トップページは、題材の作り方として、すでにある会話の記録を使う、CSV で用意した会話を読み込む、記録がない場合は題材を生成する、の三つを挙げています。一回の問いかけだけでなく、何往復かの会話も扱えると説明されています。ここで注意したいのは、生成した題材は、実際の顧客の言い回しの偏りを写していないという点です。生成した題材だけで合格しても、実際の会話で同じ結果が出るとは限りません。
とくに日本語の顧客対応では、遠回しな要求や、敬語の中に隠れた不満、業界特有の言い回しが多くなります。公式サイトで日本語の会話を題材にした試験の説明は確認できませんでした。日本語の題材で、どこまで意図どおりに採点されるかは、試用の段階で、過去の実際の問い合わせを使って確かめる必要があります。
原因2:採点の基準を、誰も持っていない
二つ目の原因は、採点の基準である憲章の持ち主がいないことです。LuminosAI の発表では、憲章はガバナンスの担当が作るものとされ、3月には各国の規制に合わせて独自の憲章を作る考え方も紹介されています。逆に言えば、どの法律の、どの条文の解釈を、どの言葉で規定に落とすかは、使う側が決めることです。
ここで起きやすいのが、既成の規定をそのまま使ってしまうことです。公式の発表に例として挙がっているのは、欧州のAI法や米国のリスク管理の枠組み、不公正・欺瞞的な取引の規制などです。日本の企業が国内の顧客に向けてAIを使う場合、関わってくるのは景品表示法、個人情報保護法、消費者契約法、業種によっては金融や医療の規制などで、米国や欧州の規定で合格しても、日本の法令に照らして問題がないとは言えません。これらの法令がそのまま規定に置き換えられるかどうかも、法務の確認が必要です。
もう一つ、社内規程の扱いも抜けやすい部分です。値引きの上限、返金の条件、競合他社に触れてよい範囲といった社内の決まりは、法令ではありませんが、破れば顧客との約束や表示の問題に直結します。法令の規定と社内規程の規定を、別々の持ち主が書き、どちらにも載っていない領域がないかを照らし合わせる作業が要ります。
原因3:自動の採点を、法務の判定として扱ってしまう
三つ目の原因は、試験の結果の扱い方です。LuminosAI の報告書は、法務の覚え書きのような形の平易な文書で出てくると説明されています。読みやすい文書であるほど、それ自体が法務の判断であるかのように受け取られやすくなります。しかし、自動の採点は、決められた規定に照らした試験の結果であって、法律上の判断ではないという線を外してはいけません。
採点を行っているのもAIである以上、採点そのものに誤りが混ざる可能性があります。ある回答が規定に反しているかどうかは、文脈によって判断が分かれることが多く、とくに表示の規制では、同じ言い回しでも商品や前後の説明によって評価が変わります。公式の資料では、採点の精度を示す数字や、誤った合格・誤った不合格の割合は確認できませんでした。
この原因への手当ては、試験の結果を「人が判断するための材料」と位置付け直すことです。どの結果は自動で合否を決めてよく、どの結果は必ず法務が読むのかを、試験を始める前に決めておきます。具体的な線の引き方は、後の対策で表にまとめます。
原因4:公開後に中身が変わっても、試験が追いかけない
四つ目の原因は、公開後の変化です。顧客向けのAIは、公開した後も指示文の調整、参照する資料の差し替え、使うモデルの更新、つながる道具の追加によって、中身が少しずつ変わっていきます。公開前に一度だけ試験して合格しても、三か月後のAIは、試験したときのAIと同じものではありません。
LuminosAI が5月に Monitors を出したのは、まさにこの問題への答えです。公式トップページでは、試験を一度だけ実行する、決まった日時に繰り返す、稼働中の記録を流し込み続ける、という三つの動かし方が示され、新しい版を出すたびに試験を走らせる使い方も挙げられています。ただし、継続して試験できる仕組みがあっても、何が変わったら試験をやり直すかを、変更の手続きに組み込んでいなければ働かない点に注意が必要です。
業務部門がエージェントを作る会社では、この問題がより大きくなります。指示文の一行の変更や、参照する資料の差し替えを、情報システム部門や法務が知らないまま行えるからです。変更の届け出と試験のやり直しを結び付ける仕組みがなければ、継続試験の道具があっても、どの変更の後の結果なのかが分からなくなります。
原因5:記録が、後から説明に使える形になっていない
五つ目の原因は、試験の記録の残し方です。問題が起きたとき、規制当局や取引先、裁判の場で問われるのは、公開前に何を試し、どの基準で、誰が承認したかです。Monitors の発表は、指摘の一つひとつを平易な言葉で記録し、法的に耐える監査の跡を残すと説明しています。一方で、道具が残す記録が、自社の承認の手続きと結び付いていなければ、説明の材料としては不十分です。
よくあるのは、試験の結果は道具の中に残っているが、どの版の指示文とモデルで試したのか、誰がその結果を読んで公開を認めたのかが、別の場所に散らばっている状態です。試験の題材や規定を後から直した場合、過去の結果がどの版の題材で出たものかも分からなくなります。試験の結果、試した対象の版、使った規定の版、承認した人と日付の四つを一組で残す形を、最初に決めておく必要があります。
対策1:題材は実際の記録から作り、生成した題材で補う
ここからは対策です。一つ目は、試験の題材の作り方です。基本は、実際の会話の記録から題材を作り、生成した題材は足りない場面を補うために使うという順番です。公開前で記録がない場合は、人の問い合わせ窓口に寄せられた過去の質問や、営業が受けた質問を題材の元にします。
題材には、行儀のよい質問だけでなく、意図的に境界を突く質問を混ぜます。返金や値引きを強く求める会話、他社の商品と比べさせる会話、個人の情報を書き込んだうえで別の質問をする会話、規定の抜け道を探して何度も言い換える会話などです。こうした題材は、顧客対応の担当者に過去の難しかった問い合わせを挙げてもらうと集めやすくなります。
題材そのものも、版を付けて管理します。新しい問い合わせの傾向が見えたら題材に足し、足した日と理由を残します。題材を足したら、過去の合格もその題材で試し直します。題材の更新と試験のやり直しを一組で行うことで、題材が実際の使われ方から離れていくのを防げます。
対策2:採点の基準は、法務と事業部門が共同で書く
二つ目は、採点の基準である規定の書き方です。法令に結び付く規定は法務が、値引きの上限や返金の条件といった社内規程に結び付く規定は事業部門が書き、それぞれに持ち主を置きます。規定の一つひとつに、根拠になる法令や社内規程の名前を添えると、後から見直すときに、どの規定を直すべきかが分かりやすくなります。
日本の法令への置き換えでは、既成の規定を出発点にしつつ、国内の規制に合わせて書き直します。たとえば、不公正・欺瞞的な取引に関する規定は、景品表示法の優良誤認・有利誤認の考え方に照らして、自社の商品で起きうる表現に落とします。個人の情報に関する規定は、個人情報保護法の利用目的の範囲や第三者への提供の考え方に合わせます。置き換えた規定が法令の趣旨に沿っているかは、自動の試験ではなく法務が確かめる部分です。
規定は「こうする」「こうしない」の形で書けるものに限られる、という公式の説明も踏まえておきます。「誤解を招く表現をしない」のような抽象的な規定は、採点が揺れやすくなります。「契約にない返金の条件を示さない」「価格を答えるときは公開している価格表の金額だけを示す」のように、守れているかを外から確かめられる形に分解して書くと、採点の揺れが小さくなります。
規定の見直しの引き金も決めておきます。法令の改正やガイドラインの改訂、行政の処分事例の公表、自社の商品や料金の改定があったときは、関係する規定の持ち主が規定を読み直し、変えた場合は過去の合格を新しい規定で試し直します。Monitors の発表が挙げているとおり、新しい規制の施行は公開後に問題が現れる原因の一つです。規定の側が古いままでは、継続して試験していても、古い基準で合格を出し続けることになります。
対策3:合否の線と、人が判定する範囲を分ける
三つ目は、試験の結果の扱い方です。すべての結果を法務が読むのは現実的ではなく、すべてを自動で決めるのは危険です。そこで、規定の種類と結果の重さに応じて、自動で決めてよい範囲と人が判定する範囲を分けます。
| 規定の種類 | 自動の結果で決めてよいこと | 人が判定すること | 判定する人 |
|---|---|---|---|
| 表記・言葉づかい | 合否と修正の指示 | 繰り返し不合格になる規定の書き直し | 規定の持ち主 |
| 社内規程(値引き・返金・保証) | 不合格の検出と公開の保留 | 保留した回答を公開してよいか | 事業部門の責任者 |
| 表示の規制に関わる表現 | 疑いのある回答の抽出 | 表現が法令に照らして問題か | 法務 |
| 個人の情報の扱い | 疑いのある回答の抽出と公開の保留 | 扱いが利用目的の範囲内か | 法務と個人情報の担当 |
| 差別や不利益な扱いの疑い | 抽出のみ | 原因の調査と公開の可否 | 法務と事業部門 |
表の考え方は、自動の結果に任せるのは「見つけること」と「止めること」まで、とすることです。公開してよいかの判断は、規定の持ち主か法務が持つ。LuminosAI の公式トップページも、評価の内容を人が承認してから実行し、結果を人が確かめる流れを示しています。この承認の段階を、誰がどの権限で行うかを社内の手続きとして決めておきます。
不合格の結果に修正の提案が付く場合も、その提案をそのまま指示文に反映しないことが大切です。公式トップページには、承認の上限額をエージェントの指示に加えるよう提案する例が出ていますが、修正の内容が社内規程に合っているかは、規定の持ち主が確かめてから反映するべきです。
対策4:公開前と公開後で、試験の役割を分ける
四つ目は、公開前と公開後の試験の役割分担です。公開前の試験は、規定に照らして公開してよいかを判断する材料を作る役割、公開後の継続試験は、変化によって新しく生じた問題を早く見つける役割です。この二つを同じ題材・同じ頻度で回すと、どちらの役割も中途半端になります。
実際の記録から作った題材と境界を突く題材で、すべての規定について試験し、表の線に沿って人が判定してから公開を認める。
指示文・参照資料・モデル・つながる道具を変えたら届け出を出し、届け出があれば関係する規定の試験をやり直す決まりにする。
実際の会話の記録の一部を定期的に試験にかけ、新しい言い回しや想定外の使われ方で不合格が出ていないかを見る。
不合格の傾向、採点の誤り、題材と規定の追加の要否を、規定の持ち主と法務で確かめる。
公開後の試験で見るべきなのは、合格率の高さより、新しく出てきた不合格の種類です。合格率が高いことは、題材に入っていない問題がないことの証明にはなりません。新しい種類の不合格が出たら、その会話を題材に加え、規定に抜けがないかを見直します。
何が社外に出るか:会話の記録を渡すときの線
LuminosAI の公式トップページは、AIの重み、指示文、配信の仕組みには触れず、すでに記録している入力と出力だけを使うと説明しています。エージェントや社内のシステムへの接続も要らないとされています。裏を返せば、試験の材料として渡すのは、顧客との会話の記録そのものです。そこには、顧客の名前、連絡先、契約の内容、問い合わせの中で書かれた個人的な事情が含まれることがあります。
会話の記録を渡す前に、四つのことを確かめます。一つ目は、記録を試験に使うことが、顧客に示している利用目的の範囲に収まっているか。二つ目は、米国の事業者に渡すことになるため、外国にある第三者への提供として必要な手続きを満たしているか。三つ目は、個人を特定できる情報を伏せてから渡せるか。四つ目は、渡した記録の保存期間と削除の手順です。
- 公式トップページには、セキュリティ・プライバシー・利用規約のページへの案内があるが、認証の取得状況は今回の確認の範囲では読み取れなかった。契約の前に書面で確かめる
- 記録がない段階では、生成した題材で試せるとされている。機微な情報を含む部署は、まず生成した題材と伏せ字を施した記録から始める
- Python の開発キットや API で記録を送る場合、どの記録を自動で送るかの範囲を、開発の担当だけで決めない
渡す範囲は、最初は狭く始めるのが安全です。伏せ字を施した一部の記録で試験の当たり方を確かめてから、渡す範囲を広げる順番にしておくと、問題があっても影響を小さく抑えられます。
費用の増え方と、やめ方
公式トップページでは、無料で試せることが示されていますが、料金の金額は今回確認した範囲では公開されていませんでした。費用は、試験の対象にするAIの数、試験を回す頻度、継続試験に流す記録の量によって増えると見ておくのが自然です。見積もりの段階で、どの単位で課金されるのか、継続試験の回数や記録の量に上限があるのかを確かめます。
道具の費用と同じくらい大きいのが、人の手間です。規定を日本の法令と社内規程に置き換える作業、題材を集めて版を管理する作業、不合格の結果を判定する作業、月に一度の見直しには、法務と事業部門の時間が継続してかかります。試験を自動化しても、判定と規定の手入れは自動化されないことを、導入の判断の前提に置いておきます。
やめ方は、入れ方の逆の順番で考えます。継続試験への記録の送信を先に止め、次に試験の予定を外し、最後に LuminosAI 側に残った記録の削除を依頼して、完了を書面で受け取ります。規定・題材・試験の結果・承認の記録は、自社の文書として手元に持っておくと、別の道具に移るときも、Copilot Studio などの基盤に付いている評価の機能に切り替えるときも、積み上げた試験の資産を失わずに済みます。
導入前に確かめる項目
ここまでの原因と対策を、導入を決める前の確認項目にまとめます。すべてを満たしてから始める必要はありませんが、答えられない項目が多いうちは、道具を入れても見落としの原因が残ったままになります。
- 試験の対象にするAIと、その指示文・参照資料・モデルの版を一覧にできているか
- 試験の題材を、実際の会話の記録や過去の問い合わせから作る段取りがあるか
- 法令に結び付く規定と社内規程に結び付く規定のそれぞれに、持ち主がいるか
- 既成の規定を、日本の法令と自社の商品に合わせて置き換える担当が決まっているか
- 自動で合否を決めてよい範囲と、人が判定する範囲が分かれているか
- 指示文やモデルの変更と、試験のやり直しが結び付いているか
- 結果・試した版・規定の版・承認した人を一組で残す形が決まっているか
- 渡す会話の記録の範囲、伏せ字、保存期間、削除の手順を確かめたか
このうち、最初の三つが答えられない場合は、道具の検討より先に、社外に出るAIの一覧づくりと規定の持ち主の決定から始めるほうが近道です。
まとめ
LuminosAI は、法的リスクに対応した規定の集まりでAIの出力を試験し、平易な文書にまとめる基盤で、2026年には公開前の Lighthouse から公開後の継続試験 Monitors、さらに業務部門でも使える品質確認へと広がってきました。それでも法的リスクを見落とすのは、試験の題材が実際の使われ方とずれ、基準の持ち主がおらず、自動の採点を法務の判定として扱い、公開後の変化を追わず、記録が説明に使える形になっていないからです。題材は実際の記録から作り、規定は日本の法令と社内規程に置き換えて持ち主を決め、自動で決めるのは見つけて止めるところまでにし、公開してよいかの判断は人が持つ。この線を先に引いておけば、自動の試験は見落としを減らす確かな材料になります。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
あなたのWebサイトは、AIによる攻撃に耐えられますか?
AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。
