ジェイルブレイクで守りが崩れる原因|窓口に置く3つの備え

「窓口に、うちの決まりを書き換えようとする指示を打ち込んでくる人がいます」「社内で試したら、案内の範囲をあっさり外れた答えが返りました」——社外向けにAIの窓口を出した部署から届く声です。悪意のある利用者が特別な知識を持っているという話ではありません。本当は、運用する側が置いた決まりごとと、利用者が打ち込む言葉が、同じ1本の入口を通っているという仕組みの問題です。だから外そうとする入力は数種の型に収まり、型ごとに備えを置けます。この記事では、制限を外そうとする入力の型とその成り立ち、窓口が崩れたときに何が起きるか、そして出す側が置く3つの備えを整理します。
カメ先生ジェイルブレイクって、腕のある人が特別な呪文を使うことだと思われがちなんだけど、本当は「会話を続けるだけで境目が薄れる」という性質を使っているだけなんだ。
カメ子特別な知識がなくてもできてしまう、ということですか。
カメ先生そう。だから出す側の備えも、賢い防ぎ方を1つ考えるのではなくて、入口と出口と記録の三重に置くという形になるんだ。
カメ子一箇所で止めきる前提にしないんですね。
- 制限を外そうとする入力は、決まりごとの書き換え、偽の会話の混入、役の演技、符号でのくるみ、少しずつ近づける多回の手口という型に整理されている
- 窓口が崩れたときの被害は出力の中身ではなく、それが会社の発言として扱われること。責任の所在について審判機関の判断が既に出ている
- 備えは3つ。出す前に外そうとする入力で試す、入口と出口の両方に検査を置く、記録と気づき方を先に決める
AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?
デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。
窓口の発言は、会社の発言として扱われる
被害の形から見ます。2024年2月、カナダの民事紛争を扱う審判機関が、航空会社の対話型の窓口が示した誤った案内について、会社の責任を認めました。窓口は、遺族向けの運賃を後から申請できると案内していましたが、そのような制度はありませんでした。会社側は、窓口が別の法人格を持つ主体であり自らの行為に責任を負うと主張しました。審判機関はこれを退け、情報が固定の頁から来るか対話型の窓口から来るかで違いはない、自社のサイトにあるすべての情報に責任があることは会社にとって明らかであるべきだ、と述べています。報道によれば、命じられた支払いは約812カナダドルでした。
この件は制限を外されたわけではなく、窓口が事実と違う案内を出した事故です。それでも、出す側にとって重要な線が引かれました。窓口が言ったことは、会社が言ったことになるという線です。金額の大きさは論点ではありません。制限を外す入力への備えを、技術部門の課題ではなく、会社の発言を管理する課題として扱う根拠がここにあります。
打ち込まれた指示で役割そのものが外れた例も報じられています。2023年12月、米国の自動車販売店が出していた窓口で、利用者が窓口の役割を書き換える指示を打ち込み、新車を1ドルで売ると答えさせ、その申し出には法的な拘束力があるとまで書き添えさせました。売買が成立したわけではありませんが、画面の写しは短時間で数百万回閲覧されています。窓口が答えた文言そのものが、そのまま広告のように流れたことになります。
2024年1月には、英国の大手宅配会社の窓口が、荷物の追跡を尋ねた利用者に対して罵る言葉を返し、自社を批判する内容まで出力しました。会社は仕組みの更新の直後に起きたと説明し、窓口の一部を停止しています。事故を集めた公開の記録では、この件は公開後に起きた意図しない事故で、有害な内容への露出に分類されています。3件のうち2件は、外部からの侵入ではなく、公開された入力欄に打ち込まれた言葉だけで起きています。
ジェイルブレイクとは何か。読み込ませた資料の話とは分ける
ジェイルブレイクは、運用する側が設定した制限の外へ、AIの応答を連れ出す試みを指します。似た言葉との線引きが実務では重要です。大手の提供元が公開している検査の機能の文書は、入力への攻撃を2つに分けています。1つは利用者が自分で打ち込む攻撃で、入口は利用者の入力欄、狙いは本来のふるまいを変えることです。もう1つは第三者が用意した資料や電子メールの中に指示が仕込まれる攻撃で、入口は第三者の内容、狙いは権限のない操作や情報の持ち出しです。
この記事が扱うのは前者だけです。後者はAIに読ませる資料の側に備えを置く話になり、設計の論点がまったく違います。窓口を出す側が先に押さえるべきは前者です。理由は単純で、入力欄を公開した時点で、誰でも何度でも試せる状態になるからです。読み込ませる資料は自社が選べますが、入力欄に何が来るかは選べません。
- ジェイルブレイク:運用する側が設定した制限の外へ、応答を連れ出す試み。打ち込む側で起きる
- ガードレール:制限を守らせるためにモデルの外側に置く仕組み。検査と遮断、人への引き継ぎを含む
- 断りの判断:要求を断るかどうかのモデル側の判定。規則の照合ではなく、学習した傾向にもとづく
用語を分けておく理由は、対策の置き場所が変わるからです。モデルの性質に期待する話と、外側に仕組みを置く話を混ぜると、提供元が対策しているから自社では何もしなくてよいという結論になりがちです。実際には、外側に何を置くかが窓口を出す側の仕事として残ります。同じ提供元の文書自身が、検査はすべての手口を捉えるとは限らず、正当な入力を誤って弾くこともあるため、常に追加の検証の層を置くようにと明記しています。
型1:決まりごとを書き換えにくる
提供元の文書が最初に挙げるのは、決まりごとを変えようとする試みです。制限を持たない別の助手として振る舞うよう求める形、あるいは、これまでの指示や決まり、直前までのやり取りを忘れて無視するよう命じる形がここに入ります。型としては最も古く、最も広く知られています。
成り立ちは、指示と入力が同じ入口を通る構造そのものにあります。運用する側が書いた案内の範囲も、利用者が打ち込んだ言葉も、モデルには1本の文字列として届きます。どちらが上位の指示なのかは、文字列を見ただけでは決まりません。だから、これまでの指示は無効だと書かれた言葉が、上位の指示として読まれる余地が生まれます。
現在地も押さえておきます。この素朴な形は、いまではほぼ通らないとされています。指示の上下関係を学習の段階で教え込む対策が、この型を直接狙って入っているためです。ただし通りにくくなったのは素朴な形だけで、同じ狙いを別の型に包み直したものは残ります。有名な言い回しを一覧にして弾く対策は、効く範囲が狭いと考えてください。窓口を出す側が確認すべきは、言い回しの一覧ではなく、決まりを書き換えようとする意図を分類できているかどうかです。
型2:偽の会話を混ぜる
2つ目は、会話の模型を埋め込む型です。利用者が1回の入力の中に、あたかも過去に交わされたかのようなやり取りを書き込み、その中で例外が認められたことにしてしまう形です。提供元の分類では、利用者が作った会話の順番を1つの問いかけに埋め込み、決まりや制限を無視させるものと説明されています。
成り立ちは、会話の履歴の作り方にあります。モデルは渡された文字列の並びを会話として読みますが、どこまでが実際のやり取りで、どこからが利用者が書いた作り物かを、文字列だけからは区別できません。窓口の作りによっては、利用者の入力をそのまま履歴に足しているため、作り物が本物の履歴と同じ重みで扱われます。
窓口で出る被害はここが厄介です。前の担当者が特別対応を認めた、という形の作り物が混ざると、値引きや納期の例外を認める答えにつながります。対策の方向は決まっていて、過去のやり取りは自社側の記録から組み立て、利用者の入力から会話の履歴を作らないことです。判断をAIに任せて見分けさせるのではなく、履歴の作り方という設計で防ぐ部分です。窓口の仕様書に、履歴の出どころを1行書いておくだけで塞がります。
型3:役を演じさせる
3つ目は役の演技です。提供元の分類では、既存の制限を持たない別の人格として振る舞うよう命じる形、あるいは感情や思考や意見といった人間の性質をAIに割り当てる形が挙げられています。前述の宅配会社の件は、この型に近い形で起きました。罵ることや自社を批判する内容を書くことは、案内という役割からは外れています。
成り立ちは、物語を書く仕事と、規定を守る仕事を同じ仕組みで処理していることにあります。物語の枠を与えると、断りの判断が弱まります。作り話の中の台詞であれば規定の外に出てよい、という扱いが成立してしまうためです。役を与えたうえで、その役なら答えるはずだと押していくのが、この型の骨格です。手口を機械的に作らせて試す研究も報告されており、人が思いつく範囲より広く試されることを前提にする必要があります。
窓口での意味は、出力の中身よりも、それが誰の言葉として出たかにあります。案内役として答えたのか、演じている人格として答えたのかは、画面を見た人には区別できません。演じている最中の発言も、会社の窓口の発言として写しが回ります。したがって対策は、演技を禁じる文言を増やすことではありません。出力の側で、案内の範囲外の言い方になっていないかを見ることです。
型4:符号や言い換えでくるむ
4つ目は符号による攻撃です。文字の置き換え、書き方の指定、暗号、自然言語の変種を使って、決まりの検査をすり抜けようとする形です。仕組みは単純で、入口の検査が危ない言い方を探しているなら、言い方を変えれば当たらないという差を使います。検査は言い方を見ていて、モデルは意味を読んでいる。この差が穴になります。
見落としやすいのは言語による差です。ある提供元の入力検査の機能は、中国語・英語・フランス語・ドイツ語・スペイン語・イタリア語・日本語・ポルトガル語の8つの言語で学習と試験がなされており、それ以外の言語では動くとしても品質が変わると明記されています。つまり多言語の窓口では、言語によって入口の検査の精度が違います。海外向けの問い合わせを同じ仕組みで受ける場合、ここは導入前に仕様として確認する項目です。
この型が示しているのは、検査とモデルの読解力に差があるという構造です。モデルは変換された表現も読めるのに、検査は読めないことがあります。だから入口の検査だけで止める設計には上限があります。入口をすり抜ける前提で、出口にも検査を置くのが、この型への現実的な答えです。入口を厚くする投資と、出口を置く投資では、後者のほうが型に依存せず効きます。
型5:何十回もかけて少しずつ近づける
5つ目は、1回で外そうとしない型です。2024年4月に公表され2025年2月に更新された研究は、一見して無害な問いから始め、モデル自身の返答を引き合いに出しながら少しずつ話題をずらしていく多回の手口を示しました。1回1回のやり取りは、単独で見ると無害です。研究では、この手口を自動化した道具が、既存の手法に比べて成功率を1つのモデルで29〜61ポイント、別のモデルで49〜71ポイント上回ったと報告されています。
規模の把握も進んでいます。2026年5月に公表された多回のやり取りの試験用データは、10,389件の敵対的な入力と2,665種の異なる有害な意図を集め、9つの大分類と26の細分類に整理しています。既存の最良のデータと比べた成功率は、あるモデルで54.0ポイント、別のモデルで34.6ポイント高いと報告されました。1回目の試行で通る割合は、小規模なモデルで0.833、別のモデルで0.748という値が示されています。
窓口を出す側にとっての意味は明確です。1回の入力だけを見て弾く検査は、この型には当たりません。必要なのは会話全体の傾きを見ることです。具体的には、同じ会話の中でやり取りの回数が異常に伸びていないか、話題が案内の範囲から少しずつ外れていないか、断りの判定が同じ会話の中で繰り返し出ていないかを見ます。会話の回数と断りの回数は、窓口の異変にいちばん早く出る2つの数字です。
5つの型と、窓口で出る被害の形
ここまでの5つを並べます。見てほしいのは右端の列で、1回の入力を見る検査で気づけるかどうかが型によって違うことです。表の左3列は成り立ちと被害、右1列が備えの置き場所を決めます。
| 型 | 成り立ち | 窓口で出る被害の形 | 1回の入力を見る検査で気づけるか |
|---|---|---|---|
| 決まりごとの書き換え | 指示と入力が同じ入口を通るので上下関係が定まらない | 案内の範囲外の断定、社内向けの説明の露出 | 気づきやすい。素朴な形はほぼ通らない |
| 偽の会話を混ぜる | 実際のやり取りと利用者が書いた作り物を区別できない | 値引きや納期の例外を認める答え | 気づきにくい。履歴の作り方で塞ぐ |
| 役を演じさせる | 物語を書く仕事と規定を守る仕事が同じ仕組みで処理される | 罵る言葉、他社への評価、差別的な表現 | 半分は気づける。出口の検査が要る |
| 符号や言い換えでくるむ | 検査は言い方を見て、モデルは意味を読む | 型を変えたうえでの上記すべて | 言語によって精度が変わる |
| 少しずつ近づける | 1回ごとは無害で、会話全体でしか傾きが見えない | 長い会話の末に出る言ってはいけない約束 | 当たらない。会話の単位で見る |
表から出る結論は2つです。1つは、入口の検査で対処できるのは上の3つに寄っていること。もう1つは、下の2つは会話の単位で見ないと見えないことです。だから備えを1層で済ませる設計は成り立ちません。以下では原因の側に戻ってから、3つの備えを順に決めていきます。
なぜ崩れるのか。原因は3つの構造にある
原因の1つ目は、すでに触れた入口の構造です。運用する側の決まりも利用者の言葉も、同じ1本の文字列として届きます。ここを分ける仕組みは、モデルの内側には用意されていません。だから決まりを長く丁寧に書くことは、対策としては上限が低いのです。文字数を増やしても、上下関係が生まれるわけではありません。
2つ目は、断りの判断が確率的だということです。モデルは規則の一覧と要求を照合しているのではなく、学習した傾向にもとづいて断るかどうかを決めています。同じ意味の要求でも、言い方によって結果が変わります。一度通らなかったことは、次も通らないことの証明になりません。この性質があるため、窓口の安全を「試して通らなかった」だけで説明することはできません。
3つ目は、会話が長くなるほど当初の決まりが薄れることです。やり取りが積み上がると、最初に置いた案内の範囲は、後から来た大量の文字列に押されます。型5が効く理由もここにあります。実務では、一定の回数を超えた会話は打ち切って最初から始め直すという単純な運用が、いちばん確実に効きます。
この3つは、いずれもモデルの賢さを上げれば消えるものではありません。窓口の安全は、モデルの性能ではなく、外側に置いた仕組みの数で決まります。ここを取り違えると、モデルを新しくするたびに同じ事故を繰り返します。次の3章で置くものを決めます。
備え1:出す前に、外そうとする入力で試す
1つ目の備えは、公開する前に自分で外しにいくことです。効き目は測られています。2025年2月に公表された検証では、外側に検査を置かない状態で制限を外す試みが通る割合は86%でした。検査を置くと4.4%まで下がりました。置くか置かないかで、通る割合が20分の1近くまで変わります。まず、置いていない窓口が特別に危ういのではなく、置いていない状態が既定で危ういと理解してください。
同じ検証では、試し合いの規模も公表されています。183人が2か月にわたって延べ3,000時間を超える時間を注ぎ、報酬は最大で15,000ドルでした。この条件で、10問すべてを1つの手口で通した参加者はいませんでした。その後の公開の試し合いでは、339人が延べ約3,700時間で30万回を超えるやり取りを重ね、通し方が見つかったと報告されています。
実務での読み方はここです。通らなかったという結果の意味は、注いだ時間の量で決まります。社内で30分試して通らなかったことは、ほとんど何も示しません。だから試し方を工程として決めて、毎回同じやり方で回します。
値引きの言明、納期の確約、他社の評価、法令の解釈、契約条件の変更、差別的な表現。この一覧が試験の答案になります。列挙していないと、試した結果を合否にできません。
決まりごとの書き換え、偽の会話、役の演技、符号でのくるみの4つを、それぞれ別の担当が試します。1人が思いつく範囲は狭いため、担当を分けることに意味があります。
無害な問いから始めて20回以上続け、話題を少しずつずらします。1回ごとの入力を見る検査では当たらないため、この工程を省くと型5が丸ごと抜けます。
通ってしまった会話は、そのまま次回以降の試験項目にします。モデルを差し替えたときや案内を書き換えたときに、同じ一覧をもう一度流します。
工程で重要なのは1つ目です。言わせたら事故になる文言を先に列挙しないと、試験の合否が決まりません。ここが空欄のまま試すと、担当者の主観で「大丈夫そう」という報告になります。列挙は法務・営業・広報を交えて作ると、抜けが減ります。
備え2:入口と出口の両方に検査を置く
2つ目の備えは検査の置き場所です。入口には、利用者の入力を型で分類する検査を置きます。提供元の機能では、決まりごとを変えようとする試み、偽の会話の埋め込み、役の演技、符号による攻撃の4つに分けて判定します。分類の名前で判定する仕組みなので、言い回しの一覧を保守する必要がありません。窓口を自作する場合でも、この4分類を判定の枠として借りるのが早道です。
出口にも検査を置きます。理由は型4と型5で見たとおり、入口で全部止まらないからです。出口の検査は入口より書きやすいという利点があります。入口では「何を狙った入力か」を推し量る必要がありますが、出口では「言ってはいけない文言が出ていないか」を見るだけです。金額の断定、日付の確約、他社名の評価、条件の変更。出してはいけないものの一覧は、備え1で作った一覧をそのまま使えます。
対価も見ておきます。2025年2月に公表された検証では、検査を置いたことで正当な要求を誤って断る割合が0.38ポイント上がりました。統計的な差とは言えない範囲ですが、ゼロではありません。計算にかかる費用は23.7%高くなりました。誤って断る副作用と費用の増加は、必ず対価として出ます。決裁の場では、事故の想定被害と並べて説明する項目です。
ただし対価の大きさは、仕組みの世代で変わります。2026年1月に公表された後継の仕組みは、内部の状態を見る軽い判定を全件に通し、疑わしいやり取りだけを重い判定に回す2段構えに変えました。全件を重く検査していた第1世代と違って、追加でかかる計算費用は約1%まで下がり、無害な問いを誤って断る割合も0.05%と第1世代より低くなったと報告されています。対価の大きさは、どの世代の仕組みを使うかで一桁変わります。提供元には、どの方式で検査しているかを確かめてください。2025年2月の23.7%だけを決裁の場に出すと、検査を置かない判断に傾きます。
止めたあとの経路も設計に入れます。提供元の文書でも、危ういと判定した場合の動きとして、応答を止めるか、人の担当者へ回すと書かれています。断りっぱなしにすると、正当な問い合わせが宙に浮きます。止める仕組みと同時に、人へ渡す経路と待ち時間の目安を決めておくことが実務の条件です。
- 禁止する言葉の一覧だけで止めようとする。型を変えられると当たらない
- 入口にだけ検査を置き、出口は素通しにする。型4と型5が丸ごと抜ける
- 誤って断った件を集めていない。副作用が見えないので基準を直せない
- 多言語の窓口で、言語ごとの検査の精度差を確認していない
- 検査に当たった会話を人へ渡す経路がなく、利用者が断られたまま放置される
備え3:記録と気づき方を先に決める
3つ目の備えは記録です。残す項目を先に決めます。会話を識別する番号、入力と出力、入口の検査の判定、出口の検査の判定、断った理由、人へ渡したかどうか、やり取りの回数。断った理由を残していないと、誤って断ったのか正しく断ったのかを後から分けられません。件数だけを数えている記録は、改善の材料になりません。
次に、どの数字が異変の先ぶれになるかを決めます。実務で先に出るのは4つです。断りの判定の件数が前週比で急に増えたとき、同じ利用者から短時間に連続した会話が来ているとき、1つの会話でやり取りの回数が通常の範囲を大きく超えたとき、出口の検査に当たった件数が増えたとき。しきい値は最初から正確に置けないので、2週間ほど平常時の分布を取ってから、上位1%程度の水準に置くのが現実的です。
見る人も決めます。毎日見る担当を1人、週次で確認する責任者を1人。ここを決めないと、記録は取られているのに誰も開かない状態になります。あわせて、記録に個人情報が混ざる問題を扱います。問い合わせの窓口では、氏名・電話番号・注文番号が本文に書かれます。保存の期間と、閲覧できる人の範囲を先に決めます。決めていないと、事故の調査のたびに全文を全員が見る運用になります。
外からの通報を受ける経路も置きます。窓口の妙な挙動に最初に気づくのは、多くの場合、社外の利用者です。問い合わせ先が窓口そのものしかないと、通報が届きません。会社の代表の連絡先に、AIの窓口についての報告を受ける行を1つ足しておくだけで足ります。
窓口を出す前のチェックリスト
ここまでの3つの備えを、公開前に確認できる形に落とします。決裁の場で1枚として使えるように、決めた内容を書き込む欄を持たせるのが要点です。空欄が残っている項目が、そのまま未決の論点になります。
- 言わせたら事故になる文言を、法務・営業・広報を交えて列挙してある
- 決まりごとの書き換え、偽の会話、役の演技、符号でのくるみの4つを、別の担当が試した
- 20回以上続く会話で、話題を少しずつずらす試し方を行った
- 通ってしまった会話を、次回以降の試験項目として残してある
- 入口の検査を、言い回しの一覧ではなく型の分類で置いている
- 出口の検査に、金額の断定・日付の確約・他社の評価・条件の変更が入っている
- 誤って断った件を集める仕組みがあり、基準を見直す担当が決まっている
- 多言語で受ける場合、言語ごとの検査の精度差を仕様として確認した
- 検査に当たった会話を人へ渡す経路と、待ち時間の目安が決まっている
- 残す記録の項目、保存期間、閲覧できる人の範囲が文書になっている
- 断りの件数・会話の回数・出口の検査の件数を毎日見る担当が決まっている
- 社外から窓口の挙動について報告を受ける連絡先を公開している
この一覧のうち、抜けやすいのは誤って断った件を集める仕組みです。事故を防ぐ側の項目は用意されるのに、正当な問い合わせを弾いてしまった件は、誰からも報告されないまま消えます。窓口の評価を断りの少なさだけで見ると、今度は検査を緩める方向に力が働きます。両方の数字を並べて見る形にしてください。
社内の利用者が外そうとする場合の統制
社外の窓口とは別に、社内の利用者が制限を外そうとする場面があります。論点が違うので分けて扱います。社外は不特定の相手からの試みですが、社内は業務で断られた人が回避しようとするという動機で起きます。悪意より先に、業務が進まないという事情があります。
だから統制の1つ目は、制限の妥当性を見直すことです。顧客名の入力を一律で断る設定にすると、正当な業務が止まり、別の経路を探す動きが出ます。制限が業務の実態に合っていないと、外す動機が生まれ続けます。外そうとする試みの件数は、制限が業務に合っていないことの指標として読むのが実務的です。
2つ目は記録と規程です。誰の名前で使ったかを残し、制限を外そうとする行為を規程の対象として明記します。ただし罰を先に置くと、報告が上がらなくなります。先に相談できる窓口を作り、業務上どうしても必要な場合の申請の道を用意します。3つ目は教育の中身です。禁止事項の読み合わせではなく、なぜその制限があるのかを、事故の形で説明します。理由が分かっている人は、抜け道を探すより先に相談します。
窓口に判断させない範囲を先に決める
最後に、備えの前提を置きます。制限を外す入力への対策を厚くしても、窓口に判断させてよい範囲が広いままなら、事故の可能性は残ります。価格、値引き、納期、契約条件、法令の解釈、個別の例外は、窓口に判断させない。これは技術の限界の話ではなく、会社として誰が約束するかという話です。
実装の形は単純です。窓口には答えられる範囲の一覧を持たせ、その外に触れる問いは人へ回します。範囲の中でも、数字と日付を含む答えには出どころを添えさせます。根拠のない断定を出させない設定は、制限を外す入力への備えとしても効きます。根拠を求められる形になっていると、演技の枠に入っても断定が出にくくなります。
そのうえで、人が確認する範囲を先に決めます。すべての応答を人が見る運用は続きません。見るのは3種類に絞ります。出口の検査に当たった応答、人へ回された会話、そして無作為に抜いた一定数。3つ目を入れる理由は、検査に当たらなかった事故を見つけるためです。検査を通った応答だけを安全とみなすと、検査の穴が永久に見えません。
よくある質問
制限を外そうとする入力は、窓口を止めるほど多いのですか
窓口の性格で大きく変わります。一般消費者向けで話題になった窓口には短期間に集中して届きます。前述の自動車販売店の例は、画面の写しが広まったことで試す人が増えました。法人向けの限定公開の窓口では件数は少なくなります。ただ、件数の多さと被害の大きさは比例しません。1件でも会社の発言として写しが回るためです。判断の材料にするのは件数ではなく、外れたときに何を言ってしまうかです。
提供元の対策に任せておけば足りませんか
足りません。提供元の文書自身が、検査はすべての手口を捉えるとは限らず、正当な入力を誤って弾くこともあるため、常に追加の検証の層を置くようにと書いています。加えて、何を言ってはいけないかは会社ごとに違います。値引きの上限、納期の言い方、他社への言及。これらは提供元には分かりません。出口の検査の中身は、自社で書くしかない部分です。
完全に防ぐことはできますか
できないという前提で設計します。2025年2月の検証では、183人が延べ3,000時間を超えて試して1つの手口で全問を通した人はいませんでしたが、その後の公開の試し合いでは通し方が見つかっています。時間を注げば通る道は残ると考えてください。だから備えは、通らせない仕組みだけでなく、通ったときに早く気づく仕組みと、被害を小さくする範囲の限定を含みます。
事故が起きたとき、まず何をすればよいですか
順番は3つです。第1に、該当する機能を止めるか、人が答える運用に切り替えます。窓口全体を落とすか一部かは、事前に決めておきます。第2に、記録を保全します。会話の全文、検査の判定、時刻。これが後の説明と再発防止の材料になります。第3に、同じ言い方で再現するかを試します。再現しない場合も、確率的な判断であるため対策は必要です。この3つの順番と担当は、公開前に紙にしておきます。
社外の窓口を出さない選択はありますか
あります。問い合わせの一次受けだけをAIに任せ、答えは定型の案内に限る形なら、自由に文章を作らせる必要はありません。作らせないという選択は、制限を外す入力への最も確実な備えです。判断の分かれ目は、窓口に自由な文章を作らせることで得られる効果が、備えの工数と事故の可能性に見合うかどうかです。効果が説明できないなら、出さない選択のほうが合理的です。
まとめ
制限を外そうとする入力は、決まりごとの書き換え、偽の会話の混入、役の演技、符号でのくるみ、少しずつ近づける多回の手口という型に整理されています。上の3つは入口の検査で当たりますが、下の2つは会話の単位で見ないと見えません。窓口が崩れたときの被害は出力の中身ではなく、それが会社の発言として扱われることです。備えは3つ。出す前に外そうとする入力で工程として試すこと、入口と出口の両方に検査を置くこと、記録と気づき方を先に決めること。そのうえで、価格や約束といった判断は窓口に持たせず、人が確認する範囲を先に決めます。この4点が決まっていれば、窓口は出せます。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?
デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。
