プロンプトインジェクションを見分けるモデル「Sentinel v2」の仕組みと導入前の注意点

「社内の生成AIに変な指示を入れられたら、どこで止めればいいのか」「入力を見張る専用のモデルがあると聞いたが、入れれば安心なのか」——生成AIを業務に組み込み始めた会社の情報システム部門や、セキュリティ担当者から出てくる声です。こうした悩みに応えるものとして、入力文が攻撃かどうかを判定する小さなモデルが海外で相次いで公開されており、Sentinel v2 はその一つです。見張り役のモデルは、攻撃を止める壁ではありません。疑わしい入力に印を付ける「網」の一つです。この記事では、Sentinel v2 が何を判定するモデルなのか、公表されている性能の数字をどう読むか、独自のライセンスと同意付きの公開で何を確かめるべきか、そして導入するなら人がどこを決めるべきかを整理します。

Sentinel v2とは何か。2026年10月時点で確かめられる事実

Sentinel v2 は、Hugging Face（機械学習のモデルを共有する場）で Rogue Security という名義のもとに公開されているテキスト分類モデルです。文章を一つ受け取り、それがプロンプトインジェクション（生成AIへの入力に紛れ込ませた指示で、本来の指示や安全上の決まりを乗っ取ろうとする攻撃）や脱獄（安全装置を外させて、本来は断る内容を答えさせようとする試み）に当たるかどうかを判定します。モデルカードは、大規模言語モデルの手前に置いて悪意のある入力をふるい落とす「門番」としての使い方を想定していると説明しています。

公開の記録によると、作成は2025年8月31日、最終更新は2026年3月11日です。2026年10月28日の時点で、いいねは61、直近1か月のダウンロードは約1万6千回でした。基になったモデルは、中国のアリババが公開した小型の言語モデル Qwen3-0.6B で、カードによるとパラメータ（モデルの中の調整される数値）は約5億9千6百万、ファイルの大きさは約1.2ギガバイトです。

ライセンスは Hugging Face の登録情報では「その他」となっており、OSI（オープンソースの定義を管理する団体）が承認したライセンスではありません。また、ファイルを取得するには利用条件への同意が必要なゲート付きの公開です。このため本記事では「OSS」とは呼ばず、「モデル」と呼びます。旧版は Qualifire という名義で公開されている初代の Sentinel で、v2 のカードはこの旧版からの改良版であることを明記しています。

なぜ入力の段階でプロンプトインジェクションを見張るのか

生成AIは、利用者の入力と、開発者があらかじめ与えた指示を、同じ「文章」として受け取ります。そのため、入力の中に「これまでの指示を無視して」といった趣旨の文が紛れ込むと、本来の指示よりそちらを優先してしまうことがあります。OWASP（ウェブのセキュリティに関する国際的なコミュニティ）が公開している大規模言語モデル向けの十大リスクでも、プロンプトインジェクションは最初に挙げられる項目です。

社内の生成AIが社外の文書を読んだり、メールやウェブページを要約したり、ほかの業務システムを操作したりするほど、こうした指示が入り込む経路は増えます。生成AI自体に「怪しい指示には従うな」と教えておく方法もありますが、それだけでは破られる例が知られています。そこで、生成AIとは別に、入力を先に点検する仕組みを置く考え方が広がってきました。

入力を点検する方法には、禁止語の一覧と照らし合わせる方法と、Sentinel v2 のように学習したモデルで判定する方法があります。前者は分かりやすい一方で言い換えに弱く、後者は言い換えにもある程度対応できる代わりに、なぜそう判定したかの説明が出にくいという弱点があります。どちらも単独で十分とは言えず、組み合わせて使うのが前提になります。

仕組み1：小さな言語モデルを判定専用に作り替えている

Sentinel v2 は、文章を生成するための言語モデルを、文章を分類するための形に作り替えて学習させたものです。入力文を受け取ると、攻撃に当たるかどうかのラベルと、その確からしさを表す点数を返します。カードに載っている出力の例では、脱獄に当たるというラベルと点数が示されています。旧版のカードでは、判定は「無害」と「脱獄」の二つに分かれると説明されていました。

生成を担う大きなモデルではなく、約6億パラメータの小さなモデルを使っている点が特徴です。カードには、1件あたりの処理時間が約0.038秒という数字が載っています。ただし、どのような計算機で、どれくらいの長さの文を測ったかは、確認できた範囲では書かれていません。処理の速さは自社の環境で測り直す前提で読むのが妥当です。

押さえておきたいのは、このモデルが見ているのは渡された文章だけだということです。誰が送ったのか、その後に生成AIが何をしようとしているのか、といった周りの情報は判定に使いません。どの文章をこのモデルに通すか、つまり利用者の入力だけか、生成AIが読み込む社外の文書も含めるかは、使う側が設計で決めることになります。

仕組み2：旧版からの主な変更点

v2 のカードは、旧版からの改良点を六つ挙げています。一つ目は、脱獄とインジェクションの両方への対応を強めたこと。二つ目は、一度に読める文章の長さ（コンテキスト長）を、旧版の8,196トークンから約3万2千トークンへ広げたこと。トークンは、モデルが文章を区切って扱う単位です。長い文書を途中で切らずに判定しやすくなった、という意味になります。

三つ目は平均の成績の向上、四つ目はファイルの大きさを旧版の約1.6ギガバイトから約1.2ギガバイトへ、およそ25%小さくしたこと、五つ目は学習データを旧版の約3倍に増やしたこと、六つ目は旧版の問題点を直したことです。ただし、学習データの具体的な中身やデータセットの名前は、確認できた範囲のカードには書かれていません。

基になるモデルも変わっています。旧版のカードと論文によると、旧版は ModernBERT の大型版 という文章理解向けのモデルを基にしていました。v2 は文章生成向けの Qwen3-0.6B を基にしています。基になるモデルが変わると、得意な文の傾向や、誤判定の出方も変わる可能性があります。旧版で試した結果を、そのまま v2 に当てはめないことが大切です。

公表されている性能の数字と、その読み方

カードは、公開されている五つの評価用データセットでの成績を、F1値（見逃しの少なさと誤検知の少なさを合わせて一つにした指標で、1に近いほどよい）で示しています。五つのうち一つは提供元自身が公開した評価用データです。表によると、v2 の平均は約0.957で、比較として旧版が0.936、ほかの提供元が公開している同種の分類モデル三つが0.799、0.750、0.627と並んでいます。

一方で、同じカードの改良点の説明では v2 の平均を0.964としており、表の数字と本文の数字が一致しません。表の五つの値を平均すると約0.957になるため、どちらかが古い数字の可能性がありますが、理由は確認できませんでした。社内で数字を引用するときは、どちらの値かを明記し、提供元の自己申告であることも添えておきます。

さらに、カードは英語以外のデータでは評価していないと自ら書いています。日本語の入力でどの程度当たるかは、現時点で確認できる情報は限られます。評価用データの多くは英語の攻撃文を集めたもので、実際の業務で届く日本語の問い合わせや社内文書とは性質が違います。公表値は「英語の試験問題での成績」として読むのが妥当で、自社の入力での実測が欠かせません。

研究論文と旧版から分かること

Sentinel には、2025年6月に公開された論文があります。著者は Dror Ivry 氏と Oran Nahum 氏の二人で、題名は「プロンプトインジェクションから守る最先端のモデル」という趣旨です。要旨によると、論文が扱っているのは旧版のモデルで、ModernBERT の大型版 を基に、公開されているデータと独自に集めたデータを組み合わせて学習させたとしています。

学習データには、役を演じさせる手口、指示を乗っ取る手口、偏った内容を出させようとする試みなどの攻撃に加え、普通の指示も含めたとされます。独自のデータは、誤判定を直す目的や、実際の利用で起きた誤判定を拾う目的で集めたと説明されています。要旨では、社内の未公開の試験データで正解率0.987、F1値0.980を報告し、公開の評価データでも既存の強い比較対象を一貫して上回ったと主張しています。

ただし、これらは著者自身による評価で、第三者による検証は要旨からは確認できません。また、論文の対象は旧版であり、v2 は「この論文で述べた手法の一版」とカードで位置づけられているにとどまります。旧版のカードによると、旧版の平均F1値は約0.94で、比較対象の約0.71を大きく上回るとされていました。v2 についての独立した評価は、本記事の執筆時点では見つけられませんでした。

入力を守るほかの手段との違い

入力の点検には、Sentinel v2 のような分類モデルのほかにも手段があります。どれか一つを選ぶのではなく、それぞれの得意・不得意を踏まえて重ねるのが基本です。次の表は、代表的な手段を比べたものです。内容は一般的な傾向で、個別の製品の性能を示すものではありません。

手段	得意なこと	弱いところ	人の関わり方
禁止語・規則による照合	判定の理由がはっきりしていて説明しやすい	言い換えや別の言語での表現に弱い	規則の追加と見直しを人が行う
Sentinel v2 のような分類モデル	言い換えにもある程度対応でき、処理が軽い	判定の理由が出にくく、日本語での性能は未確認	しきい値と、判定後の扱いを人が決める
生成AI自身に守るよう指示する	追加の仕組みが要らない	巧妙な入力で破られる例が知られている	指示の内容を人が設計し、定期的に試す
生成AIの権限を絞る	乗っ取られても被害の範囲が限られる	攻撃そのものは止められない	使える機能と情報の範囲を人が決める
出力と操作の記録・監視	見逃した攻撃を後から見つけられる	その場では止められない	記録を読む担当と頻度を人が決める

表から分かるとおり、分類モデルは「入口の網」の一つであり、権限を絞ることと記録を残すことの代わりにはなりません。特に、生成AIに社内の情報や業務システムへの操作を許している場合は、入力の点検をすり抜けられたときに何が起きるかを先に考え、被害の範囲を権限で小さくしておくことが優先されます。分類モデルは、その上に重ねる層として位置づけるのが現実的です。

想定される使い方と、使う場面

カードが想定しているのは、大規模言語モデルの手前に置き、利用者の入力を先に判定させる使い方です。社内向けの生成AIの相談窓口や、顧客向けの問い合わせの自動応答のように、不特定の人が自由に文章を入力できる場面では、入口で怪しい入力に印を付けておく意味があります。一度に読める長さが広がったことで、長い依頼文をまとめて判定しやすくなっています。

生成AIが社外のウェブページやメール、取引先から届いた文書を読み込んで要約する場面では、利用者本人ではなく、読み込む文書の側に指示が隠されていることがあります（間接的なプロンプトインジェクションと呼ばれます）。カードは主に利用者の入力を想定して書かれており、こうした文書に対する性能は確認できる情報が限られます。読み込む文書にも通すかどうかは、自社で試したうえで判断する必要があります。

一方、カードは、感情の分析や文章の生成には使わないこと、そしてリスクの高い場面では人による監督なしに使わないことを明記しています。採用や与信、医療のように判断の結果が人に大きく影響する業務で、このモデルの判定だけを根拠に入力を断ったり、利用者を不正と見なしたりする使い方は、カードの想定から外れます。

安全性の評価：注意付きとした根拠

当ラインでは、モデルをダウンロードせず、Hugging Face で公開されている登録情報とカードを確認して安全性を精査しました。その結果、判定は「注意付き」としています。技術的な面で問題になる点は見つかりませんでしたが、ライセンスが独自条件で、利用に同意が要るため、使う前に条件を確かめる必要があるからです。

確認できた事実は次のとおりです。モデルの重みは safetensors 形式（読み込むだけでは中の処理が動かないように設計された保存形式）のファイル一つだけで、読み込むと任意の処理が動きうるピクル形式のファイルは見当たりませんでした。モデルと一緒に独自の実行コードを読み込ませる仕組み（カスタムコード）も使われていません。並んでいるのは、設定、語彙、ライセンス、説明の各ファイルと画像です。

ただし、問題が見つからなかったことは、安全の保証ではありません。今回の精査はファイルの形式と構成を見たもので、学習データに偏りや意図しない傾向が含まれていないか、判定が特定の言い回しで崩れないかまでは確かめていません。ライセンスの条件は、利用前に法務部門と必ず確認してください。更新によってファイルの構成が変わる可能性もあるため、取り込む時点で改めて確かめることをおすすめします。

ライセンスと同意付き公開で確かめること

v2 のカードは「Elastic License のもとで商用利用できる」と書いており、同梱のライセンスの文書は Elastic License 2.0 です。このライセンスは、使う・複製する・配る・改変するといった利用を広く認める一方で、いくつかの制限を置いています。中でも重要なのは、第三者に対して、このソフトウェアの主要な機能を使えるようにするホスト型・マネージド型のサービスとして提供してはならないという制限です。

ほかにも、ライセンスの確認機能を外したり回避したりしないこと、著作権などの表示を消さないこと、改変したものを渡すときは改変したことを分かるように示すことが求められます。違反した場合はライセンスが自動的に終了し、通知から30日以内に違反をやめれば回復するとされています。また、無保証で、提供元は損害について責任を負わないと定められています。

社内の生成AIの入口で使うだけなら、この制限に当たらない可能性が高いと考えられますが、自社の製品やサービスの一部として顧客に提供する場合は、どこまでが「主要な機能の提供」に当たるかの解釈が問題になりえます。ライセンスの解釈は本記事の範囲を超えるため、法務部門に確認してください。加えて、ファイルの取得には Hugging Face 上で連絡先などの情報を共有することへの同意が必要です。同意の画面に示される条件の全文は、ログインしないと確認できず、本記事では確認できる情報は限られます。

提供元の名義と運営体制について確かめられること

v2 は Rogue Security の名義で公開されていますが、旧版は Qualifire の名義で公開されています。v2 のカードは、旧版と、軽量化した別形式の版への導線を、どちらも Qualifire 名義の公開場所に向けて張っています。旧版のページでは、所有者の表示の横に Rogue Security の名前も見えます。こうした点から同じ系統のモデルであることは読み取れますが、Qualifire と Rogue Security の関係を説明する記述は、確認した一次情報の中には見当たりませんでした。

社名の変更なのか、事業の移管なのか、別の組織なのかは、本記事では断定しません。企業として利用する場合には、問い合わせ先、更新の担い手、脆弱性や誤判定を報告する窓口がどこかを確かめておく必要があります。名義が分かれていると、どちらの公開場所の情報が最新か、どちらが今後も更新されるかが分かりにくくなるためです。

運営体制を確かめる手がかりとしては、更新の頻度、カードの記述の整合性、問い合わせへの反応があります。先に触れたとおり、v2 のカードには平均の成績が二通り書かれているなど、記述の細部に揃っていない点があります。これだけで品質を否定するものではありませんが、数字の出どころを提供元に確認できるかどうかは、継続して使う相手として信頼できるかを測る材料になります。

悪用されうるリスクと、すり抜けられる可能性

入力を判定するモデルが広く公開されると、攻撃する側もそのモデルを手元で試せます。どのような入力なら「無害」と判定されるかを繰り返し試し、判定をすり抜ける言い回しを探すことは、理屈の上では可能です。公開されている検知の仕組みには共通する弱点で、Sentinel v2 に固有の欠陥という意味ではありませんが、公開モデルを唯一の関門にしない理由になります。

カード自身も、創作的な文や曖昧な文を誤って分類することがあること、学習データがインターネット上で集められた攻撃文に由来するため偏りがありうることを、制限事項として挙げています。英語以外で評価していないことと合わせると、日本語での言い換えや、英語と日本語を混ぜた入力に対して、見逃しや誤検知が増える可能性があります。これは推測で、実際にどの程度かは確認できていません。

逆向きのリスクもあります。判定が厳しすぎると、普通の業務の質問まで攻撃として止めてしまい、現場が見張りの仕組みを外す、あるいは別の生成AIを勝手に使い始める原因になります。また、判定の結果をそのまま利用者への処分につなげると、誤検知で社員や顧客を不当に疑うことになりかねません。見逃しと誤検知の両方に備えた運用を設計しておく必要があります。

導入を検討するときに確かめること

Sentinel v2 を試すかどうかを決める前に、次の順で確認を進めると、技術・法務・運用の論点を取りこぼしにくくなります。いずれも、モデルを動かす前に机の上で決められることから始めています。

この順で進めると、試行の途中で「ライセンス上、そもそも使えなかった」と分かって作業が無駄になる事態を避けられます。特に3番目の実測は、外部の評価がほとんどない現状では、導入の可否を決める最も確かな材料になります。

企業が取るべき対策

一つ目は、生成AIの権限を先に絞ることです。入力の点検をすり抜けられても、生成AIが読める情報と実行できる操作が限られていれば、被害は小さく抑えられます。社内の機密情報への接続や、メールの送信、業務システムの更新といった操作は、人の承認を挟む設計にしておきます。分類モデルを入れるのは、その後で十分です。

二つ目は、判定の結果を記録として残すことです。どの入力がどの点数で判定されたかを残しておけば、見逃しが起きたときに原因を追えますし、誤検知が多い言い回しも見えてきます。ただし入力には個人情報や機密情報が含まれうるため、記録の保存期間と閲覧できる人の範囲を決めておきます。三つ目は、禁止語の照合や出力の監視と組み合わせることです。分類モデルは層の一つとして扱います。

四つ目は、調達と更新の手続きに組み込むことです。外部のモデルを社内に取り込むときは、ライセンス、ファイルの形式、提供元の連絡先を確認する手順を、ほかのソフトウェアと同じように定めます。更新版が出たときに、確認せずに差し替えない決まりも必要です。五つ目は、社員への周知です。見張りの仕組みがあっても、怪しい文書を生成AIに読ませない、判定で止められた理由を自分で回避しようとしない、といった基本の行動を伝えておきます。

AIに任せる範囲と、人が決める範囲

入力を判定するモデルは、それ自体がAIです。AIの判定だけで重要なことを決めないのが大原則です。モデルに任せてよいのは、怪しい入力に印を付けて記録すること、そして明らかに危険な入力を一時的に保留することまでです。保留した入力を最終的に通すか、利用者に連絡するか、社内の規程違反として扱うかは、人が判断します。

判定の点数は根拠ではありません。人が確認するときには、点数だけでなく、入力の全文、どの場面で入力されたか、その前後に生成AIが何をしようとしていたかを並べて見られるようにしておきます。生成AIに判定の理由を説明させる仕組みを併用する場合も、根拠を書かせ、その根拠を人が読んで確かめる流れにします。どこまでを人が確認するかは、運用を始める前に決めておきます。次のような使い方は避けるべきです。

• 分類モデルの判定だけを根拠に、社員や顧客の利用を止めたり、処分の対象にしたりする
• 提供元が公表した成績を、自社の日本語の入力での性能として社内に報告する
• 入力の点検を入れたことを理由に、生成AIに広い権限を与えたままにする
• 誤検知が多いからといって、記録を残さずにしきい値だけを大きく緩める

こうした使い方は、どれも「AIが判断したから」という説明で人の確認を省いてしまう点で共通しています。判定の結果を誰が、どの頻度で、どの範囲まで見るのかを、担当者の名前とともに決めておくことが、仕組みを形だけのものにしないための条件です。

よくある質問

このモデルを入れれば、プロンプトインジェクションは防げますか。防げるとは言えません。カードは誤分類がありうることを認めており、人による確認や規則による仕組みとの併用を勧めています。権限を絞る、記録を残すといった対策と重ねる前提で、入口の網の一つとして考えてください。

日本語の入力にも使えますか。カードは英語以外のデータでは評価していないと書いています。基になった Qwen3-0.6B は多くの言語を扱えるモデルとされますが、判定の性能が日本語でどうなるかは確認できる情報が限られます。自社の入力で見逃しと誤検知の割合を測ってから判断してください。

無料で商用利用できますか。カードには商用利用できると書かれていますが、Elastic License 2.0 には、第三者向けのホスト型・マネージド型サービスとしての提供を禁じる制限などがあります。自社の使い方が当たるかどうかは、法務部門に確認してください。旧版と v2 は別のモデルなので、旧版で確認した条件をそのまま当てはめないことも大切です。

• 本記事の内容は、2026年10月28日に Hugging Face の公開ページ、ライセンスの文書、論文の要旨を確認した範囲に基づきます
• モデルカードの記述、成績の数字、ライセンス、公開の名義は更新で変わることがあります。利用前に最新の一次情報を確認してください
• 同意画面の条件の全文と、Qualifire と Rogue Security の関係は、本記事では確認できていません

まとめ

Sentinel v2 は、生成AIへの入力がプロンプトインジェクションや脱獄に当たるかを判定する、Qwen3-0.6B を基にした小型の分類モデルです。旧版より長い文を読めるようになり、学習データも増やしたと公表されています。重みは safetensors 形式だけで独自の実行コードもなく、ファイルの面で目立つ問題は見つかりませんでしたが、それは安全の保証ではありません。

導入を考えるなら、公表値を英語の試験での成績として読み、自社の日本語の入力で実測すること、Elastic License 2.0 と同意の条件を法務部門と確かめること、そして判定を人が確認する範囲を先に決めることが欠かせません。入力の見張りは、権限の絞り込みと記録の上に重ねる層です。AIの判定に頼り切らず、根拠を残して人が判断する運用を前提に、入口の網の一つとして検討してください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。