攻撃役と防御役のAIを競わせてAIエージェントを訓練する研究用OSS「AgentSafeEvo」とは

「AIエージェントに社内の道具をつなぎ始めたが、外から読ませた文書に紛れた指示に従ってしまわないか不安だ」「入力を検知する仕組みを入れても、すり抜ける攻撃が次々に出てくると聞く。モデルそのものを強くする方法はないのか」——AIエージェントの業務への組み込みを担う開発部門と、その審査を受け持つセキュリティ担当の双方から聞こえてくる声です。検知の網を増やせば済む話に見えますが、そうではありません。本当は、攻撃が変わり続ける前提で、AIエージェントの守りをどう評価し、どこまで信じるかが問われています。この記事では、攻撃役と防御役のAIを競わせて、道具を使うAIエージェントを攻撃に強くする研究用のOSS「AgentSafeEvo」について、一次情報で確かめられる考え方と効果、数字を読むときの注意、攻撃役のモデルも公開されているという二面性、企業が取るべき備えを整理します。導入や実行の手順、攻撃役の使い方は扱いません。

AgentSafeEvoとは何か。2026年10月時点で確かめられる事実

AgentSafeEvo は、GitHub上で公開されている研究用のコードです。READMEによると、攻撃役と防御役のAIを、道具を使う何往復ものやり取りの中で同時に育てる強化学習の枠組みで、正当な仕事を、変わり続ける攻撃の下でも安全にやり遂げるAIエージェントを育てることを目的にしています。同じ名前の論文が、2026年10月14日に論文の公開サイト arXiv に投稿されています。

公開の時期と規模を確かめておきます。リポジトリが作られたのは2026年10月12日で、最後の更新は10月16日です。2026年10月26日時点で、スターは33、複製（フォーク）は0、記録された変更（コミット）は3件で、公開済みの版（リリース）はありません。ライセンスはMITで、OSI（オープンソースの定義を管理する団体）が承認したライセンスです。READMEによると、学習のために同梱している既存の部品は Apache-2.0 で、評価に使うデータやモデルはそれぞれ元の条件に従うとされています。

作者について、論文に記された著者は7人で、所属は上海人工知能実験室、復旦大学、上海交通大学、浙江大学です。リポジトリを公開しているアカウントは2020年4月に作られた個人のもので、所属の欄には上海人工知能実験室と復旦大学が書かれています。これは筆頭著者の所属と一致しますが、アカウントと著者の誰が同じ人物かは、確認した一次情報の範囲では確かめられませんでした。

なぜ今、道具を使うAIエージェントの守りが問われるのか

AIエージェントは、メールを読む、表を更新する、社内の窓口を呼ぶといった道具を使い、何往復ものやり取りで仕事を進めます。論文は、このとき利用者の依頼、道具の説明、道具から返ってきた結果のどこに紛れた悪意ある内容でも、エージェントを危ない操作に導きうることを問題として挙げています。読ませたウェブページや文書に指示を紛れ込ませる手口は、間接プロンプトインジェクション（外部の文章に指示を仕込む攻撃）と呼ばれます。

これまでの守りは、主に二つの方向で考えられてきました。一つは、危ない入力を外側で検知して止める方法です。もう一つは、あらかじめ集めた攻撃の例でモデルを訓練する方法です。ただ、前者はすり抜けが出やすく、後者は訓練に使った攻撃の例が古くなると、新しい手口に追いつけないという弱点があります。攻撃の手口は日々変わるため、固定された例だけで守りを固めるのには限界があります。

AgentSafeEvo は、この「攻撃の例が固定されている」問題に、攻撃役のAIも一緒に育てることで応えようとする研究です。防御役が強くなれば、攻撃役もそれを崩す課題を作るように変わり、防御役はさらにそれに耐えるよう学ぶ。競い合いを通じて、訓練の相手が古くならないようにするのが考え方の中心です。企業から見れば、エージェントの守りを評価するときに、固定された試験だけで十分かを問い直すきっかけにもなります。

考え方の中心：攻撃役と防御役を同時に育てる

READMEと論文によると、学習は大きく三つの段階で説明されています。まず、攻撃役のモデルに、害のない課題と攻撃を含む課題の作り方の例を学ばせて、初期の状態を整えます。次に、攻撃役と防御役を同時に訓練します。最後に、学びやすさに応じて課題ごとの重みを変える工夫を加えます。この記事では、攻撃役が課題を作る仕組みの細部には立ち入らず、守りを評価する研究としての概要にとどめます。

論文が扱う攻撃は六つの種類に分けられています。利用者の依頼に直接指示を仕込むもの、外部の文章に仕込むもの、道具の説明に仕込むもの、誤った情報を与えるもの、害のある道具の実行に導くもの、利用者の依頼で安全の決まりを破らせようとするもの（ジェイルブレイク）です。論文によると、これらはさらに13の細かな型に分かれ、学習のデータは50の業務の場面と、およそ7,000の道具にわたります。

課題の元になっているのは、TOUCAN という既存の公開データです。論文はこれを、実在する495のMCP（AIと外部の道具をつなぐ共通の取り決め）のサーバーから作った150万件を超えるやり取りの記録を集めたものと説明しています。実在の道具に近い形の課題で訓練していることは、研究の現実味を支える点だといえます。ただし、学習で使う道具や環境の応答は模擬のもので、実際の社内システムを動かしているわけではありません。

防御役の評価：安全と業務の達成を両方見る

この研究で企業の目線から参考になるのは、防御役の評価のしかたです。READMEによると、防御役の評価は安全だったかどうかと、正当な仕事をやり遂げたかどうかの二つの合計で決まります。どちらも、よければ加点、だめなら減点の二択です。攻撃役は、自分が作った課題で防御役の評価が低いほど高く評価されます。

ここで大事なのは、害のある目的を達成しても仕事をやり遂げたとは数えない、という決まりです。依頼そのものが害のあるものなら、安全に断ることが「仕事をやり遂げた」とみなされます。逆に、何でも断れば安全の点は取れても、正当な仕事の点を失います。断りすぎるエージェントも、従いすぎるエージェントも高く評価されない作りです。

安全と仕事の達成の判定には、別のAIモデルが使われていると論文は書いています。つまり、防御役の成績そのものが、AIによる判定の上に成り立っているということです。判定役のAIが見落としたり誤ったりすれば、成績にも誤差が入ります。この点は論文が明示した限界ではありませんが、数字を読む側が押さえておくべき前提です。

公開されているもの：コード・三つのモデル・学習用データ

READMEによると、公開されているのはコードのほかに、三つのモデルと学習用のデータです。モデルは、初期状態を整えた攻撃役、競い合いで育った攻撃役、競い合いで育った防御役の三つで、いずれも中国のアリババが公開している Qwen3-8B という比較的小さな言語モデルを土台にしています。モデルの重みはコードとは別に、AIモデルの共有サイトである Hugging Face で配られています。

学習用のデータとしては、攻撃役の初期の学習に使う2万322件の課題作りの例が Hugging Face で、強化学習の種となる1万2,000件（害のないもの6,000件と悪意あるもの6,000件）と検証用の200件がリポジトリの中で公開されています。一方で論文によると、攻撃の課題を合成するための仕組み（指示文や実装の細部）は、悪用を防ぐために公開していないとされています。公開するものと、しないものを分けていることは確かめられます。

動かすには、大きな計算資源を前提にした環境が必要だとREADMEは説明しています。手元のパソコンで気軽に試す道具ではなく、研究機関やモデルを作る組織が、学習と評価に使うための研究用コードと見るのが実態に近いでしょう。企業の情報システム部門がそのまま業務に入れる製品ではありません。

論文が報告する効果

READMEと論文は、Qwen3-8B を土台に、3回の独立した試行の平均として結果を報告しています。比べる相手は、手を加えない元のモデル、外部の文章に印を付けて区別させる既存の方法、入力を検知する専用の既存のモデル、そして攻撃役を固定したまま防御役だけを訓練した場合です。AgentSafeEvo は、四つの安全性の評価すべてで、攻撃の成功率や害の度合いを最も低く抑えたと報告されています。

評価の名前（安全性）	見ている値	元のモデル	攻撃役を固定して訓練	AgentSafeEvo で訓練
Agent-SafetyBench	攻撃の成功率（低いほどよい）	49.11%	31.01%	17.84%
AgentHarm	害の度合いの点数（低いほどよい）	50.37	30.00	6.53
AgentDojo	攻撃の成功率（低いほどよい）	22.20%	6.71%	6.18%
AgentDojo	攻撃下での業務の達成率（高いほどよい）	53.64%	61.43%	66.52%
MCP Security Bench	攻撃の成功率（低いほどよい）	60.43%	38.64%	31.25%

表はREADMEに載っている値の一部で、この記事では実際に動かして確かめてはいません。READMEによると、道具の呼び出しの正確さや、計画を立てて道具を何段も使う課題などの一般の能力の評価でも、元のモデルと同程度か、それ以上の成績が出たとされています。守りを固めると仕事の能力が落ちるのではないか、という懸念に応えようとする結果です。

数字を読むときの注意

表の数字は大きな改善に見えますが、読み方には注意が要ります。第一に、改善した後でも攻撃が通る割合は残っています。Agent-SafetyBench では2割近く、MCP Security Bench では3割ほどの攻撃がまだ成功していることになります。数字が下がったことと、攻撃を防げるようになったことは同じではありません。

第二に、論文によると、競い合いの最後に育った攻撃役と防御役を組み合わせた評価では、攻撃の成功率は49.82%でした。攻撃役が強くなれば、強くなった防御役でもおよそ半分の攻撃が通るという結果で、守りが一方的に勝ったわけではないことを示しています。第三に、先に触れたとおり、成績の判定そのものを別のAIモデルが行っています。

第四に、評価はいずれも研究用の試験の場で、模擬の道具と環境で行われています。論文は倫理に関する記述の中で、試験での改善は、あらゆる現場での安全を示すものではないと書き、実際に使うときは関わる道具、権限、環境を評価する必要があると述べています。土台のモデルが異なる組み合わせでの検証はまだ途中で、結果は今後公開するとREADMEは書いています。

想定される使い方と、使う場面

AgentSafeEvo が主に想定しているのは、AIエージェント向けのモデルを作る研究者や開発の組織です。自社で調整したモデルを、変わり続ける攻撃に強くする訓練の方法として使う、あるいは手法そのものを比べる研究の土台として使う場面が考えられます。公開された防御役のモデルを、他の守りの手法と比べる相手として使うこともできるでしょう。

一般の企業にとっての使いどころは、導入よりも評価の考え方を借りることにあります。たとえば、自社のAIエージェントを評価するときに、安全だったかと仕事をやり遂げたかを両方見る、断りすぎも失点として数える、六つの攻撃の種類を試験の観点として使う、といった形です。モデルの提供元に評価の結果を尋ねるときの質問の一覧にもなります。

一方で、公開されている防御役のモデルは小さめの言語モデルを土台にした研究の成果で、業務での利用を想定した保守や更新の体制は示されていません。研究の成果をそのまま本番の守りに据えるのではなく、評価の比較の材料として扱うのが、現時点での妥当な距離感です。

既存の守りとの違い

AIエージェントを攻撃から守る手段は、大きく分けて、外側で見張る方法と、モデル自身を強くする方法があります。AgentSafeEvo は後者に当たり、なかでも訓練の相手となる攻撃を固定しない点に特徴があります。それぞれの位置づけを整理すると次のとおりです。

守りの手段	何をするか	強み	弱み・注意
入力の検知（専用の検知モデルなど）	危ない入力を見つけて止める	モデルを作り直さずに足せる	すり抜けが出る。業務の達成度が下がる場合がある
外部の文章に印を付けて区別させる	外から来た文章を指示と見分けやすくする	手軽に試せる	論文の評価では効果は小さかった
固定の攻撃の例で訓練する	集めた攻撃の例でモデルを鍛える	検知より効果が大きい	例が古くなると新しい手口に弱い
AgentSafeEvo（攻撃役も育てて訓練）	攻撃役と防御役を競わせて学ばせる	論文の評価では最も効果が大きい	攻撃役のモデルも生まれる。大きな計算資源が要る
権限と隔離（エージェントの外の仕組み）	道具の権限を絞り、操作を承認制にする	モデルが破られても被害を抑える	設計と運用の手間がかかる

表の最後の行は AgentSafeEvo の論文が扱うものではありませんが、企業の守りでは欠かせない層です。モデル自身を強くする方法は、外側の権限と隔離の代わりにはならず、重ねて使うものです。論文が実際の利用では道具と権限と環境の評価が必要だと書いているのも、この考え方と合っています。

安全性の評価：注意付きとした根拠

このラインでは、OSSを取得・導入・実行せず、公開されている情報と精査の記録をもとに安全性を判定しています。AgentSafeEvo の判定は「注意付き」です。根拠は、公開から日が浅く実績が少ないことと、攻撃役の生成を含む研究であることの二つです。

一つ目について、リポジトリは2026年10月12日に作られ、記録された変更は3件、公開済みの版はなく、スターも33と小さな規模です。研究の公開に合わせた置き場という性格が強く、継続的な保守や脆弱性の報告の窓口は、確認した範囲では示されていません。二つ目について、このリポジトリは防御役だけでなく、攻撃役のモデルとその学習用データにつながっています。

一方で、ライセンスはOSI承認のMITで、公開済みのセキュリティ勧告はありません。精査の記録では、導入時に自動で動く処理の登録は見当たりませんでした。作者のアカウントは2020年に作られたもので、スターの伸びも1日あたり2.4ほどと不自然な水準ではなく、所属は論文の記載と一致します。ただし、問題が見つからなかったことは安全の保証ではありません。とくに研究用のコードは、業務で使うことを前提にした安全の確認を経ていないのが普通です。

攻撃役のモデルも公開されているという二面性

AgentSafeEvo の注意点の中心は、守りのための研究でありながら、攻撃役のモデルも生まれ、公開されていることです。論文は倫理に関する記述の中で、攻撃役のモデルが、悪意ある指示を作ったり道具とのやり取りを操ったりする目的に転用されうるという二面性を自ら認めています。そのうえで、攻撃役のモデルと攻撃のデータを公開したり再利用したりするときは、悪用の可能性を考慮すべきだと書いています。

Hugging Face の攻撃役のモデルのページには、許可を得たレッドチーム（攻撃者の立場で守りを試す活動）と、攻撃への強さの研究に向けたものと書かれています。ただ、確認した時点では、利用の申請を求める手続きの表示は見当たりませんでした。また、モデルのページは土台のモデルの条件には触れていますが、調整した重みそのもののライセンスは明記していませんでした。

論文は、攻撃の課題を合成する仕組みは悪用を防ぐために公開しないと書いており、公開の範囲を絞る配慮は見られます。それでも、公開された攻撃役のモデル自体が、AIエージェントを崩す課題を作るよう学んだものであることは変わりません。研究の世界では守りを試すために攻撃の道具を公開することは珍しくありませんが、企業の側は、その存在を前提に守りを考える必要があります。

悪用されうるリスク

ここでは、公開情報から考えられるリスクを概要の水準で整理します。いずれも推測を含み、現時点で AgentSafeEvo を使った具体的な被害の報告は確認できていません。第一は、攻撃役のモデルの転用です。AIエージェントを崩す課題を作るよう学んだモデルが、攻撃を考える手間を減らす道具として使われる可能性があります。

第二は、研究の成果を過信することです。強くなった防御役のモデルや、この種の訓練を経たとうたうモデルを、そのまま安全なエージェントの土台と受け取ると、残っている2〜3割の攻撃の通り道を見落とします。前に見たとおり、強くなった攻撃役が相手なら、およそ半分の攻撃が通るという結果も出ています。「訓練済みだから大丈夫」という思い込みそのものが、守りの穴になるおそれがあります。

第三は、研究用の部品を取り込むことによる供給の経路のリスクです。研究用のコードや公開のモデルを社内に持ち込むと、出どころの確認、ライセンスの確認、版の管理が必要になります。とくに攻撃役のモデルや攻撃のデータを社内に置く場合は、誰が、どの目的で、どこに置いて使うかを決めずに持ち込むと、社内の統制から外れた攻撃の道具になることも考えられます。

評価に使うときに確かめること

AgentSafeEvo やその成果を、自社のAIエージェントの評価や比較に使うことを検討するなら、少なくとも次の順で確かめておくと、後からの手戻りを防げます。ここでの確認は、文書の読み込みと社内の判断の範囲で、導入や実行の手順は扱いません。

企業が取るべき対策

AgentSafeEvo を使うかどうかに関わらず、道具を使うAIエージェントを動かす企業が整えるべきことがあります。第一に、モデルの守りの強さだけに頼らず、道具の権限と隔離を外側に重ねることです。メールの送信や支払い、データの削除のような取り返しのつかない操作は、実行の前に人が承認する仕組みにします。

第二に、AIエージェントの評価に、外部の文章や道具の説明に仕込まれた指示への耐性を入れることです。論文の六つの攻撃の種類は、評価の観点を洗い出すときの手がかりになります。第三に、モデルの提供元や開発の委託先に、どんな攻撃で試し、どれだけ通ったかを数字で示してもらうことです。改善した数字だけでなく、残った攻撃の成功率と、判定に何を使ったかも確かめます。

第四に、攻撃役のモデルや攻撃のデータのような二面性のある研究の成果を、社内に持ち込むときの決まりを作ることです。目的、使う人、置き場所、記録の取り方を事前の承認の対象にし、ソフトウェアの部品表（SBOM）に載せて管理します。第五に、攻撃側もこの種のモデルを使えるという前提で、検知と記録を見直すことです。エージェントが読んだ外部の文章、呼んだ道具、行った操作を後から追える記録を残しておきます。

AIに任せる範囲と、人が決める範囲

AgentSafeEvo の研究そのものが、AIの判定の上に成り立っています。攻撃役もAI、防御役もAI、成績の判定もAIです。研究としてはそれで構いませんが、企業が自社の守りを判断する場面では、何をもって安全とするか、どの攻撃の成功率なら受け入れるかを、AIに判断させてはいけません。

人が決めるのは、評価の観点と合格の基準、残る攻撃を外側でどう塞ぐか、研究の成果を使ってよい範囲です。AIエージェントに操作をさせるときは、操作の前にその根拠を書かせ、人が確認する範囲を先に決めておくことを手順に入れます。避けたい使い方を挙げます。

• 攻撃の成功率が下がったという試験の数字を、そのまま自社のエージェントが安全な証拠として扱う
• 訓練済みのモデルを使うからと、道具の権限の絞り込みや操作の承認を省く
• 評価の合否の判定を、別のAIの出力だけで決め、人が中身を確かめない
• 攻撃役のモデルを、目的や使う人を決めずに業務の環境に置く
• モデルの提供元が示す改善の数字だけを見て、残った攻撃の成功率を尋ねない

研究が示しているのは、守りと攻めが競い合う中で守りを強くする一つの方法です。AIの判定は参考にしつつ、受け入れる基準と最後の判断は人が持つという役割分担が、この種の研究の成果を企業の守りに生かす前提です。

よくある質問：訓練された防御役のモデルを使えば安全になるのか

答えは、安全になるとはいえない、です。論文の評価では、防御役のモデルは元のモデルより攻撃に強くなりましたが、攻撃が通る割合は評価によって2〜3割ほど残り、強くなった攻撃役が相手ならおよそ半分が通りました。攻撃に強いモデルは、攻撃を受けない仕組みではありません。また、論文の評価は研究用の試験の場でのもので、自社の道具や権限や情報の扱いとは条件が違います。

では、この研究に意味はないのかといえば、そうではありません。変わり続ける攻撃を前提に守りを鍛えるという考え方や、安全と仕事の達成を両方見る評価のしかたは、企業がAIエージェントを評価するときの参考になります。モデル自身の強さと、外側の権限や隔離を重ねて使い、どちらか一つに頼らないという距離感が、現時点の付き合い方です。

• AgentSafeEvo の目的・仕組み・評価の結果は、GitHubのリポジトリ（README）、arXiv の論文、Hugging Face のモデルのページを2026年10月26日に確かめた範囲に基づきます。研究は進行中で、内容は変わる可能性があります
• リポジトリを公開しているアカウントと著者の対応、調整したモデルの重みのライセンス、攻撃役のモデルの利用に条件があるかどうかは、確認した一次情報の範囲では確かめきれませんでした。この記事では実際に動かして確かめてはいません
• この記事は守りと評価の目線で書いています。導入・設定・実行の手順や、攻撃役の使い方は扱いません

まとめ

AgentSafeEvo は、攻撃役と防御役のAIを競わせ、道具を使うAIエージェントを変わり続ける攻撃に強くする研究用のOSSです。上海人工知能実験室や復旦大学などの研究者による論文とともに公開され、論文によると、四つの安全性の評価で攻撃の成功率が下がり、仕事の能力も保たれました。攻撃の例を固定しない訓練と、安全と仕事の達成を両方見る評価は、企業がAIエージェントの守りを考えるうえで参考になります。

一方で、公開から日が浅く実績は少なく、攻撃役のモデルも公開されているという二面性があります。改善の後でも攻撃は残り、成績の判定もAIが行っています。試験の数字を安全の保証と受け取らず、外側の権限と隔離を重ね、受け入れる基準と最後の判断は人が持つことが、この種の研究の成果との現実的な付き合い方です。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。