AIの攻撃試験は社内かGray Swanか｜合格の線は自社で引く

「外部の専門会社に攻撃試験を頼めば、安全だというお墨付きがもらえるはずだ」「自前の道具で一通り試したから、もう公開して大丈夫だろう」——社内向けのAIエージェントや問い合わせ用のAIを出す直前に、情シスやAI導入の担当者からよく聞かれる二つの見方です。どちらも半分は当たっていて、半分は違います。攻撃試験は、外に頼んでも自前でやっても安全の証明にはならず、何を試したかの記録と、自社が決めた合格の線があって初めて意味を持ちます。この記事では、自前の道具で試すか、Gray Swan の自動試験 Shade や人による試験・競技場 Arena に頼むかを、何を試せるか、何が社外に渡るか、直す順番と再試験、費用の考え方で比べて整理します。

Gray Swan は、AIへの攻撃を専門にする米国の会社

Gray Swan は、米国ピッツバーグに拠点を置くAIセキュリティの会社です。カーネギーメロン大学のAIの安全性の研究から生まれ、共同創業者のマット・フレドリクソン氏が最高経営責任者、ジコ・コルター氏が主任科学者を務めています。両氏は2023年、自動で作った文字列を付け足すだけで、主要な対話型AIの安全装置をすり抜けられることを示した研究者の一員として知られています。

製品は三つの柱で構成されています。一つ目が、AIのモデルやエージェントに自動で攻撃を仕掛け続ける Shade。二つ目が、世界中の参加者が賞金をかけてAIの安全装置を破ることを競う競技場の Arena。三つ目が、公開後のAIへの入力と出力を見張り、危険な振る舞いを止める Cygnal です。これとは別に、Arena で成績を上げた攻め手を選んで、顧客のAIを人の手で試す個別の試験も提供しています。

顧客は、大規模なAIモデルを作る研究機関と、自社でAIを使う大企業の二つに分かれます。公式の発表では、20を超える顧客と取引があり、大手のAI開発元が公開するモデルの説明文書（システムカード）のうち11件で、同社の試験が引用されていると説明しています。大企業向けの取り組みは、報道によれば2026年に入ってから本格化したものです。

2026年の動き：5月の資金調達と、10月の競技場の作り直し

2026年5月28日、Gray Swan は4,000万ドルの資金調達を発表しました。米国のベンチャーキャピタル2社が共同で主導し、Snowflake の投資部門なども加わっています。資金は販売体制の強化、AI開発元との協業、人員の拡大に充てるとしています。報道によれば、年初に15人ほどだった正社員は、10月時点で66人に増えています。

2026年10月20日には、米経済誌の独占記事で、Arena を作り直した新しい版が紹介されました。対話型のAIではなく、道具を使って作業するAIエージェントを攻める場として設計し直したのが要点です。目玉の競技は、エージェントが作業中に読むウェブページや掲示板の書き込みに隠した指示で乗っ取る攻撃を競うもので、賞金総額は30万ドル、Anthropic、Meta、Google の研究部門などが提供しています。11月2日まで毎週新しい攻撃の場面が追加される予定です。

新しい Arena では、試されるエージェントを参加者が自分で操作しなければならず、エージェントが勝手にしてはいけないことを始めたのに放置した参加者は、その競技と今後の競技から締め出されるという規則が設けられています。公開の競技では安全装置の付いたモデルを使い、研究機関向けには、秘密保持の契約を結んだ選抜の参加者だけで行う非公開の競技も開いていると報じられています。

Arena 自体は2024年9月に始まり、参加者が集まる交流の場には約1万5,000人が登録しています。報道によれば、最初の Arena で最も成績が良かったのはオーストラリアの弁護士で、同社の最高経営責任者は、技術の経歴が無い人でも長い経験なしに有能な攻め手になれると語っています。新しい Arena では、初心者向けの課題を常に用意し、修了の証明を出す仕組みも加えられました。この点は、社内の試験でも、攻め手を技術者だけに限らなくてよいことを示しています。

誤解：外部に頼めば「安全のお墨付き」がもらえる

外部の攻撃試験について最も多い誤解は、試験に合格すれば安全だと言える、というものです。Gray Swan の個別の試験で受け取れるものとして公式に挙げられているのは、経営向けの要約、再現できる対話の記録、深刻度の分類、優先順位を付けた修正の計画、技術者向けの生データです。どれも見つかった穴の記録であって、穴が無いことの証明ではありません。

攻撃試験は、決めた範囲で、決めた期間に、決めた攻め方で試した結果です。範囲の外の使われ方や、試験の後に生まれた攻め方には何も言えません。Gray Swan の共同創業者自身も、報道の中で、AIの攻め手は一つの攻撃の変形を素早く大量に試すのは人より得意だが、新しい攻め方を考え出す点では人にまだ分があると述べています。どの方式にも見落としがあることを、試験を頼む側が前提にしておく必要があります。

もう一つの誤解は、自前の道具で一通り試せば十分というものです。オープンソースの道具で自前の試験を回す方法は別の記事で扱いましたが、自前の道具は、道具に入っている攻め方の範囲しか試せません。問題は自前か外部かではなく、自社のAIの使われ方に対して、試した範囲が足りているかです。この記事の比較は、その範囲を決めるための材料として読んでください。

比べる三つのやり方：自前の道具、Shade、人による試験と競技場

ここで比べるのは三つのやり方です。一つ目は、オープンソースや自社で作った道具で、開発の担当者が自前で試す方法。二つ目は、Gray Swan の Shade のような外部の自動試験の基盤を使い、継続的に攻撃を流す方法。三つ目は、選抜された人の攻め手による個別の試験や、非公開の競技場に頼む方法です。

Gray Swan 自身は、使い分けの目安として、継続的な試験や開発の流れへの組み込みには Shade、新しい種類のAIを出す前の専門家の分析には人による個別の試験、網羅的な評価や規制向けの記録には競技場、という整理を公式に示しています。自前と外部は、どちらか一つを選ぶものではなく、組み合わせ方を決めるものと考えると、比較の軸が見えやすくなります。

ただし、社内に配るエージェントや問い合わせ用のAIを初めて出す企業にとって、三つ全部を回す予算や体制は現実的ではありません。以下では、四つの軸で三つのやり方を比べ、自社のAIに対して何を外に頼み、何を自前で持つかを決める手がかりを整理します。

比較軸1：何を試せるか

最初の軸は、試せる対象の広さです。Shade は公式の説明で、AIのエージェント、モデル、安全装置、道具、そしてそれらが置かれる環境までを対象にし、自社のモデルや方針、道具、使われ方に合わせて場面を組むとしています。一方で、Shade は現時点で文字のやり取りに絞った試験であり、画像や音声を含む試験は、競技場や人による個別の試験で扱うと公式の質問集に書かれています。

社内に配るエージェントで重要なのは、AIが道具を使って何をしてしまうかです。社内の文書を検索し、メールの下書きを作り、場合によっては顧客管理の記録を書き換えるエージェントでは、答えの文面がおかしいかどうかより、してはいけない操作をするかどうかが試験の中心になります。人による個別の試験の範囲として公式に挙がっているのも、不正な指示の埋め込み、道具の悪用、攻撃の連鎖、個別の場面です。

自前の道具は、文字のやり取りの試験には向いていますが、道具を持つエージェントの試験では、試験用の環境づくりから自分で行う必要があります。本番と同じ権限のまま試すと、試験そのものが事故になります。外部に頼むか自前でやるかにかかわらず、試験用の環境と試験用の権限を用意することは、社内の側で準備しなければならない仕事です。

試験用の環境の作り方は、外部の進め方が参考になります。報道によれば、Gray Swan は競技のために模擬の環境を組み、その環境自体を社内と第三者で攻めて、試されるエージェントが環境の外へ抜け出せないことを確かめたうえで、競技中もエージェントの振る舞いを見張っているとされています。自社で試すときも、試験用の環境から本番の文書や外部への送信に手が届かないことを、試験を始める前に確かめておきます。

自前でやる場合でも、攻め手の幅は広げられます。問い合わせ窓口の担当者や営業、法務など、AIが実際に向き合う相手や話題を知っている人に、試験用の環境で自由に攻めてもらうと、開発の担当者が思いつかない言い回しや、業界特有の誘導が見つかることがあります。Arena の上位者に技術者以外が並ぶという報道は、こうした社内の攻め手にも一定の意味があることを裏づけています。ただし、参加者が見つけた穴の記録の形と、本番に試さない約束を先に決めてから始めます。

比較軸2：新しい攻め方にどれだけ追いつけるか

AIへの攻め方は、数か月単位で入れ替わります。報道によれば、2024年には一部のモデルが数分で破られ、大手のモデルでも腕のある攻め手なら一日ほどで破れたのに対し、現在のモデルは格段に固くなり、攻撃を組み立てるのに以前よりずっと高い技術が要るようになったとされています。そのぶん、古い攻め方の一覧で試して通っても、新しい攻め方には何も言えない状態になりやすくなっています。

Gray Swan の強みとして打ち出されているのは、この追随の速さです。公式の発表では、Arena の参加者は1万5,000人を超え、100万件を超える攻撃の記録が生まれ、その記録を Shade と Cygnal の改良に使っているとしています。Shade は Arena で見つかった新しい手口で攻め方を更新し、一回の試験で数千の変形を試すと説明されています。報道では、Arena のデータで直接学習させるのではなく、どの攻撃が効いたかを分析して自動の攻め手を改良している、という同社の説明も紹介されています。

自前の道具の場合、攻め方の更新は道具の開発元と、自社の担当者の勉強にかかります。オープンソースの道具は更新が速いものもありますが、どの攻め方がいつ追加されたかを自社で追い続ける手間が残ります。追随の速さを外に買うのか、担当者の時間で補うのかが、この軸の判断になります。

比較軸3：試験のために何が社外に渡るか

外部に試験を頼むとき、見落とされやすいのが、試験のために社外へ渡る情報です。攻撃試験では、AIへの入り口（接続先）を外部に開き、AIに与えている指示文、つないでいる道具の一覧、扱わせている社内の文書の種類などを説明する必要があります。試験の結果として返ってくる再現の記録には、AIが攻撃に負けて出力してしまった社内の情報がそのまま含まれることもあります。

公式の質問集では、Shade で試すためにモデルを Gray Swan の基盤で動かす必要はないと説明されています。また、同社の解決策全体の質問集では、提供形態としてクラウドの利用型、自社設置、自社の仮想網との接続が挙げられています。一方、試験の記録をどこに、どのくらいの期間保存するのか、どこまでが同社の改良に使われるのかについて、製品のページでは具体的な説明を確認できませんでした。

このため、契約の前に確かめる項目を決めておきます。試験の記録と再現データの保存場所と保存期間、同社の攻め方や監視の改良への利用の有無、人による試験を担う攻め手の秘密保持の扱い、試験の終了後に記録を削除できるか、の四点です。試験用の環境には本物の顧客情報や機密文書を置かず、似せた試験用のデータで組むことが、どの方式でも最も確実な対策になります。

• 試験の接続先は本番とは別に用意し、試験の期間だけ開ける
• 試験用のエージェントには、本番より狭い権限と、架空の顧客データだけを持たせる
• 人による試験を頼む場合は、攻め手の秘密保持の契約の範囲を書面で確かめる

比較軸4：費用の考え方

Gray Swan の価格は公開されておらず、個別の見積もりになります。そのため、ここでは金額ではなく、費用がどう増えるかの考え方で比べます。自前の道具は、道具の利用料が小さくても、試験の場面を作り、結果を読み、攻め方の更新を追う担当者の時間がかかります。AIの数が増えるほど、担当者の時間が費用の中心になるやり方です。

外部の自動試験は、継続的に回す前提の契約になることが多く、試すAIの数や頻度で費用が増えると考えられます。人による個別の試験は、一回ごとの依頼で、範囲と期間で費用が決まるのが一般的です。どちらも、試験の結果を読んで直すのは社内の仕事なので、外部に払う費用とは別に、直す側の工数を見積もっておく必要があります。見つかった穴が多いほど、直す工数は外部の費用を上回ることがあります。

費用の判断で役に立つのは、AIを出したあとに事故が起きた場合の損失との比較です。社内だけで使う要約のAIと、顧客の問い合わせに答え、記録を書き換えられるエージェントでは、事故の損失の桁が違います。損失の大きいAIから順に外部の試験を当て、損失の小さいAIは自前の道具で回す、という配分が現実的です。

三つのやり方を並べて比べる

ここまでの四つの軸を、一つの表にまとめます。Gray Swan の部分は公式の説明と報道で確認できた範囲で書いており、確認できなかった点は「要確認」としています。

比較軸	自前の道具	外部の自動試験（Shade）	人による試験・競技場
試せる対象	文字のやり取りが中心。道具を持つエージェントは環境づくりから自前	モデル・エージェント・安全装置・道具。現時点は文字のみ	画像や音声を含む試験、新しい種類のAI
新しい攻め方への追随	道具の更新と担当者の勉強しだい	競技場で見つかった手口で更新	攻め手が新しい手口を考え出す
社外に渡るもの	原則なし	接続先と試験の記録。保存と利用は要確認	接続先、仕組みの説明、試験の記録。秘密保持は要確認
費用の増え方	担当者の時間	試すAIの数と頻度（非公開・要見積もり）	範囲と期間ごと（非公開・要見積もり）
向いている使い方	開発中の繰り返しの試験	公開前と更新のたびの継続的な試験	初めて出す重要なAIの公開前

表から分かるとおり、三つは役割が違います。開発中は自前の道具で繰り返し試し、公開前と大きな更新のたびに外部の自動試験を当て、顧客に触れる重要なAIを初めて出すときだけ人による試験を頼む、という三段の組み合わせが、多くの企業にとって無理のない形です。

合格の線は、社内で決める

どの方式を選んでも、公開してよいかを決める合格の線は社内で引きます。外部の報告書には深刻度の分類が付きますが、その分類は一般的な基準であり、自社のAIが何を扱い、誰に使われ、どんな操作ができるかを踏まえたものではありません。同じ穴でも、社内の要約のAIと、顧客に答えるAIでは重さが違うからです。

合格の線は、試験の前に文書にしておきます。たとえば、社外秘の文書の中身が出力されたら一件でも不合格、承認なしに記録を書き換える操作が実行されたら一件でも不合格、不適切な表現は一定の割合以下なら条件付きで合格、といった形です。試験の後に線を決めると、見つかった穴に合わせて線を緩める誘惑が生まれます。線を決める人と、AIを作った人を分けておくことも大切です。

AIに判定させない範囲も決めます。大量の試験の結果を仕分けるのにAIの採点を使うのは現実的ですが、不合格の候補を最終的に不合格と決めるのは人です。外部の自動試験が出した深刻度も、そのまま採用せず、社内の基準に照らして付け直します。

合格の線と試験の記録は、社内の監査や、今後の規制への備えにもなります。Shade の紹介では、見つかった内容を社内の承認や監査、新たに整いつつあるAIの規制の枠組みへの対応に使えると説明されていますが、特定の規制への適合を保証するものとは書かれていません。社内で残すべきなのは、外部の報告書そのものより、どの線で、誰が、何を根拠に公開を決めたかの記録です。

• 外部の報告書の深刻度が低かったので、内容を読まずに公開を決める
• 試験で見つかった穴を見てから、合格の線を後付けで決める
• AIを作った担当者が、自分のAIの合格を一人で判定する

結果を直す順番と、再試験

試験で穴が見つかったら、直す順番を決めます。Shade の結果には再現の手順、深刻度、修正の道筋が付き、修正の後にもう一度試す流れが公式に示されています。順番は、外部の深刻度ではなく、社内の合格の線に照らした重さで決めます。

直し方のうち、指示文に「この種の依頼には答えない」と書き足すやり方は、最も手軽ですが、最も破られやすい対策です。エージェントがそもそもその操作をできないように権限を絞る対策のほうが、攻め方が変わっても効き続けます。再試験では、直した攻撃だけでなく、その変形も試すことが欠かせません。

公開後に残る穴をどう扱うか

公開前の試験で見つけきれなかった穴は、必ず残ります。Gray Swan は、公開後のAIへの入力と出力を見張り、方針に反する振る舞いを止める Cygnal も提供しており、Shade で見つかった穴を Cygnal の検知の規則に変えられると説明しています。ただし、外からの不正な指示を見張る仕組みの一般論は別の記事で扱っているので、ここでは試験との関係だけに触れます。

社内で決めておきたいのは、公開後に新しい攻め方が報じられたとき、誰が再試験を判断するかです。外部の自動試験を継続契約にしていれば、更新された攻め方で定期的に試すことができますが、自前の道具だけの場合は、担当者が報道や公開情報を追って試験を足す必要があります。再試験の周期と、臨時の再試験を判断する人を、公開の判断と同じ文書に書いておきます。また、AIの指示文や道具の構成を変えたときは、変更の大小にかかわらず、前回の試験の攻撃をもう一度流すことを決まりにしておくと、直したはずの穴が戻る事故を防げます。

社内に配るエージェントと、問い合わせ用AIでは選び方が違う

同じ攻撃試験でも、社内に配るエージェントと、顧客の問い合わせに答えるAIでは、攻めてくる相手と守るものが違います。社内のエージェントでは、攻め手は主に、エージェントが読む外部の文書やメールに指示を仕込む第三者です。守るものは社内の文書と、エージェントが持つ操作の権限です。

問い合わせ用のAIでは、攻め手は誰でもなれます。不特定の利用者が、社外秘の情報を引き出そうとしたり、不適切な発言をさせて画面を撮って広めようとしたりします。守るものは、顧客の情報と会社の評判です。不特定の相手に開くAIほど、人の攻め手による試験の価値が高くなるのは、人のほうが評判を傷つける発言を引き出す工夫に長けているためです。

このため、社内のエージェントは、道具の権限を絞ったうえで自動の試験を中心に、問い合わせ用のAIは、公開前に一度人による試験を当て、その後を自動の試験で継続する、という配分が目安になります。日本語での攻め方や日本特有の表現への対応については、Gray Swan の公式の説明で明記されたものは見当たらなかったため、日本語の試験をどこまで行えるかを見積もりの段階で必ず確かめます。

外部に頼む前に、社内で用意するもの

外部の試験の質は、頼む側の準備で大きく変わります。最初に用意するのは、AIの使われ方を説明する一枚の文書です。誰が使うか、何の文書を読むか、どの道具で何ができるか、何をしてはいけないか、を書きます。人による試験の範囲を決める工程では、守りたいものと攻撃の入り口を一緒に整理することになるので、この文書がそのまま出発点になります。

次に、試験用の環境と、試験の期間の連絡体制です。試験の途中で本番に影響が出そうになったときに止める人、試験の結果を最初に受け取る人、合格の線を決める人を、名前で決めておきます。報告書を受け取ってから誰が読むかを決めるのでは、直す工程が始まるまでに数週間が空くことになります。

最後に、直すための体制です。指示文を直す人、道具の権限を変える人、再試験を回す人を決め、試験の日程と一緒に修正の期間を確保しておきます。外部の試験は、穴を見つけたところで終わりますが、社内の仕事はそこから始まります。

依頼する前のチェックリスト

自前でやるか外部に頼むかを決める前に、次の項目を確かめておくと、比較と見積もりが具体的になります。

• 試験するAIが、社内向けか、不特定の相手に開くものかを決めた
• AIが読む文書、使う道具、できる操作を一枚にまとめた
• 合格の線（一件でも不合格の事象、条件付きで合格の事象）を試験の前に文書にした
• 線を決める人と、AIを作った人を分けた
• 試験用の環境と、架空のデータと、本番より狭い権限を用意した
• 試験の記録の保存場所・保存期間・改良への利用・削除の可否を、外部に確かめる項目として並べた
• 日本語での試験の範囲を、見積もりの段階で確かめる
• 見つかった穴を直す担当と期間、再試験の周期を決めた

このうち、合格の線と、直す担当の二つが決まっていない場合は、外部に頼む前にまずそこを決めることを勧めます。線と直す人がいないまま試験だけを買っても、報告書が棚に置かれるだけで終わってしまうためです。

まとめ

AIの攻撃試験は、外部に頼めば安全の証明がもらえるものでも、自前の道具で一通り試せば済むものでもありません。Gray Swan は、自動で攻め続ける Shade、人の攻め手を集めた競技場 Arena、人による個別の試験を持ち、2026年10月には Arena をAIエージェント向けに作り直しました。比べる軸は、何を試せるか、新しい攻め方に追いつけるか、何が社外に渡るか、費用がどう増えるかの四つです。開発中は自前、公開前と更新のたびに自動の試験、顧客に開く重要なAIを初めて出すときは人による試験、という組み合わせを目安に、合格の線は試験の前に社内で決め、深刻度はAIに任せず人が付け直し、権限を絞る直し方を優先して再試験で確かめる。この順を守れば、外部の力を借りても、公開の判断は自社の手に残せます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。