【2026年】PyRITで攻撃試験を内製化|定例作業にする条件

「去年の秋に外部の診断を受けたけれど、その後モデルも指示文も何度も変えている。いまも同じ結果が言えるのか分からない」「Microsoft が無料の攻撃試験の道具を出しているらしい。あれを社内で回せば、毎回外に頼まなくて済むのでは」——社内に配るAIや問い合わせ用のAIを預かる担当者から、こうした声を聞くようになりました。けれども、無料の道具を手に入れることと、攻撃試験を社内で続けられることは別の話です。内製化で問われるのは道具の性能より、変更のたびに試験を回し、結果を読んで直す仕事を誰が持ち続けるかです。この記事では、Microsoft が公開しているオープンソースの攻撃試験の道具箱 PyRIT を題材に、攻撃試験を一度きりの診断から定例作業に変えるときに、社内で決めておくべきことを整理します。操作手順や画面の説明は扱いません。
カメ先生攻撃試験の道具は、入れれば自動で安全かどうかを判定してくれるものだと思われがちなんだ。でも本当は、試す相手と攻め方と採点の仕方を、自分たちで組み立てる部品の箱なんだよ。
カメ子部品の箱ということは、組み立てて動かし続ける人が社内に要る、ということですか。
カメ先生そう。しかも PyRIT はこの半年で、前の版のまま動かなくなる変更が何度も入った。一回だけ使うなら気にならないけれど、毎月回すなら、その保守も仕事のうちになる。
カメ子道具がただでも、回し続ける手間はただではないんですね。
- PyRIT は Microsoft のAI攻撃試験チームが育ててきた部品の箱で、2026年7月に1.0、9月に1.1が出た。半年で互換性のない変更が続き、定例で回すなら保守の担当が要る
- 多くの攻撃と採点は、攻撃役・採点役のAIを別に呼ぶ。その費用と、試験の会話が社外に送られる範囲を先に決める
- 試してよい相手の線、合格の線、結果を読んで直す人は自社で決める。道具の点数を基準にせず、やめても困らない作りにしておく
あなたのWebサイトは、AIによる攻撃に耐えられますか?
AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。
PyRIT とは:Microsoft のAI攻撃試験チームが公開した道具箱
PyRIT は、生成AIの仕組みの安全上の弱点を探すためのオープンソースの道具箱です。公式のリポジトリでは、Microsoft のAI攻撃試験の専門チームとオープンソースの協力者が開発していると説明されており、ライセンスは MIT と表示されています。2026年4月に Microsoft の技術者ブログに載った解説では、2022年に社内の試験用の手書きの仕組みとして始まり、Copilot を含む100を超える製品の試験に使われてきたと紹介されています。
使い方の入口は三つあります。一つ目は、決まった試験の組み合わせをコマンドで繰り返し回す「スキャナー」。二つ目は、ブラウザから対話的に相手のAIを試し、結果を見返せる画面の CoPyRIT。三つ目は、部品を Python で組み合わせて独自の試験を作る枠組みとしての使い方です。試す相手としては、OpenAI、Anthropic、Azure、Google Gemini、AWS の Bedrock、Hugging Face、Ollama などのAIに加え、自社の窓口を一般的な通信の形で呼ぶ接続や、Playwright を使ってブラウザの画面越しに試す接続も用意されています。
ただし、PyRIT は判定を下す製品ではなく、試験を組み立てるための部品の集まりです。前述の Microsoft の技術者ブログ自身が「研究用の部品集なので、実際の開発の流れで使うには包む仕組みが要る」という趣旨を書いています。入れた日から社内の安全の基準になるわけではなく、何を試し、何を合格とするかを組み立てる人がいて初めて動くという前提で読み進めてください。
2026年の動き:3月の三つの入口、7月の1.0、9月の1.1
公式のリリース一覧を見ると、2026年はこの道具が大きく作り替えられた一年でした。3月27日の版では、スキャナー、CoPyRIT、枠組みという三つの入口がそろい、詐欺、情報の漏えい、心理的な害、脱獄、攻撃役のエージェントといった試験の組み合わせがコマンドから回せるようになりました。4月9日には、試験文の雛形を展開する部分の脆弱性を直す修正版が出ています。4月17日の版では、参照先が旧来の Azure 側のリポジトリから Microsoft 側のリポジトリへ移されました。
6月5日の版では内部のデータの形が新しい仕組みに移り、関数の名前の付け方も揃えられました。そして7月24日の1.0では、試験の組み合わせの作り方、部品の名前、会話と記録の形がまとめて作り替えられ、1.0より前の書き方を受け止める互換の仕組みは取り除かれました。7月30日の修正版では、ある接続先で答えの部品の並び順が変わり、決まった位置の部品を答えとして読んでいた処理は別のものを読んでしまう、という注意書きも添えられています。
9月4日の1.1では、採点の結果に「判定できない」という状態が加わり、一部だけ遮られた答えも既定で採点されるようになりました。CoPyRIT の認証には Microsoft Graph を使う設定が要るようになり、Azure の SQL データベースに記録している場合は移行の作業が必要と書かれています。4月から9月までの半年で、互換性のない変更を含む版が少なくとも4回出ていることは、定例作業にするかどうかを考えるうえでの最初の材料になります。
「一回の診断」と「定例作業」は何が違うか
攻撃試験を一回の診断として使うなら、その時点の最新版を入れて、決めた範囲を試し、結果をまとめれば終わりです。道具の版が上がっても、次の診断のときに入れ直せば済みます。一方で定例作業にするということは、モデルの版の更新、指示文の手直し、参照させる社内文書の入れ替え、つなぐ道具の追加といった変更のたびに、同じ物差しで試し直すということです。
ここで必要になるのは、前回と今回を比べられることです。比べるためには、同じ試験文の集まり、同じ攻め方、同じ採点の仕方を、版をまたいで保たなければなりません。ところが道具の側の版が上がると、採点の既定の振る舞いが変わることがあります。1.1で一部だけ遮られた答えも採点されるようになったのは、その一例です。道具の版を上げた月に数字が動いたら、それがAIの変化なのか道具の変化なのかを切り分ける手間が生まれます。
| 観点 | 一回の診断 | 定例作業 |
|---|---|---|
| 目的 | その時点の弱点を洗い出す | 変更のたびに、悪くなっていないかを確かめる |
| 道具の版 | 毎回最新を入れればよい | 固定して使い、上げる日を決めて検証する |
| 試験文 | その回の範囲に合わせて選ぶ | 基準の集まりを固定し、追加は記録して足す |
| 採点 | その回の結果を人が読む | 前回と比べられる形で残し、ずれを人が確かめる |
| 担当 | 診断の担当者が一人で回せる | 保守・読み手・直す人の三役が要る |
試験の手順そのものの組み立て方は、攻撃試験の一般的な手順を扱った別の記事で整理していますので、ここでは、定例にした瞬間に増える仕事は、道具を最新に保つことと、数字の変化の理由を説明することの二つだと押さえておけば十分です。
定例にする前に決める:どの変更で回すか
定例作業の最初の設計は、どの変更が起きたら試験を回すかという「引き金」を決めることです。すべての変更で全部の試験を回すと、費用も時間も膨らみ、やがて誰も結果を読まなくなります。逆に引き金を決めずに「気づいたときに回す」運用にすると、忙しい月に必ず抜けます。
実務では、変更の重さで試験の深さを分けるのが現実的です。前述の Microsoft の技術者ブログも、手早い試験は変更を取り込むたびに回し、全部の試験は手動で始めるか技術の責任者の承認を経て回す、という分け方を例として挙げています。社内に配るAIなら、たとえば次のような分け方が考えられます。
前回漏れが見つかった攻め方と、情報の漏えいを確かめる少数の試験だけを回す。結果は担当者が確認して記録する。
情報の漏えいと、つないだ道具を悪用させる攻め方を中心に回す。新しくつないだ先ごとに、試してよい範囲を書き直す。
基準の試験一式を回し、前回との差を表にする。差の理由を読み手が説明できるまで、配る範囲は広げない。
AI側は何も変えずに、新旧の道具で同じ試験を回して差を見る。差が出た項目は、道具の変化として記録してから基準を更新する。
最後の段は見落とされがちですが、定例作業では欠かせません。道具の版上げを、AIの変更と同じ日に行わないだけでも、数字の変化の理由を切り分ける手間は大きく減ります。
互換性が切れる前提で、保守の負担を見積もる
1.0での変更点を公式のリリース文から拾うと、試験の組み合わせの作り方の変更、部品の名前の変更、会話と記録のデータの形の変更、記録を書き出す仕組みの削除、旧来の書き方を受け止める仕組みの削除が並んでいます。スキャナーの既成の組み合わせだけを回しているなら影響は小さいかもしれませんが、社内向けに部品を組み合わせて独自の試験を書いていれば、書き直しが発生すると考えておくべきです。
保守の負担を見積もるときは、自社で書いた部分の量で考えます。社内の窓口に合わせた接続の部品、自社の業務に合わせた採点の基準、結果を社内の書式に書き出す処理、開発の流れに組み込む包みの部分などが、道具の版上げのたびに確かめる対象になります。自社で書く部分を薄く保つほど、版上げの手間は小さくなります。逆に、便利だからと部品の内部に手を入れた改造は、版上げのたびに追従できなくなる原因になります。
もう一つ見ておきたいのは、道具そのものにも脆弱性の修正が入るという事実です。4月の修正版は、試験文の雛形の展開を安全な方式に切り替えるもので、雛形の書き方によっては利用者側の対応が必要と書かれていました。攻撃試験の道具は、攻撃の文例や外部のデータを大量に取り込みます。試験の道具も、社内で動かすソフトウェアの一つとして更新を追う対象にすることを、保守の担当の仕事に含めておいてください。
- 道具の版は固定し、上げる日と確認の担当を決めておく。自動で最新に上がる入れ方は定例作業に向かない
- 公式のリリース文の「互換性のない変更」の欄は、版を上げる前に必ず読む。過去の版では毎回のように書かれている
- 旧来の Azure 側のリポジトリは公開が止まった状態になっている。古い手順書や社内の資料がそちらを参照していないかを確かめる
部品の地図:攻め方・変換・接続先・採点・記録
PyRIT の部品を大づかみにすると、五つに分かれます。どんな攻め方をするかを決める部品、試験文を言い換えたり暗号のように崩したりして守りをすり抜けようとする変換の部品、試す相手のAIにつなぐ接続先の部品、答えを採点する部品、そして会話と採点の結果を残す記録の部品です。1.1では、同じ攻撃文を少しずつ変えて大量に試す攻め方、攻撃文を分割して渡す攻め方、多言語や音声を使う攻め方、存在しないソフトウェア部品の名前をAIに出させる試験、内部の指示文を引き出す試験などが追加されています。
社内で回すときに大事なのは、どの部品を社内の物差しとして固定し、どの部品は試しに使うだけにするかを分けることです。新しい攻め方が追加されるたびに基準の試験に加えていくと、前回との比較ができなくなります。新しい攻め方は、まず別枠で試し、自社のAIに効くことが分かったものだけを、記録を付けて基準に加えるのが安全です。
記録の部品は、手元のデータベースファイルか Azure の SQL データベースに会話と採点を残す作りで、試しに使うときのためにメモリ上だけで動かす設定もあると公式の説明にあります。定例作業にするなら、メモリ上だけの設定は使わず、どこに何が残るかを決めてから回すべきです。記録の扱いは後の節で詳しく触れます。
攻撃役と採点役のAI:費用と社外に出るもの
PyRIT で会話を何往復も重ねる攻め方を使うと、多くの場合、試す相手とは別に、攻撃文を考える役のAIを用意することになります。採点も、決まった文字列で判定する方式や、Azure の有害表現の判定サービスを使う方式のほかに、AIに採点させる方式が中心になります。つまり、一回の試験で呼ばれるAIは、試す相手、攻撃役、採点役の三つになりうるということです。
ここから二つのことが分かります。一つは費用です。PyRIT 自体は無料でも、攻撃役と採点役のAIの呼び出し代は、試験の回数と往復の数に比例して増えます。同じ攻撃文を少しずつ変えて大量に試す攻め方は、その性質上、呼び出しの回数が大きく膨らみます。定例作業にするなら、引き金ごとに一回の試験でどれだけ呼び出すかの上限を決め、月の予算と照らし合わせておく必要があります。
もう一つは、社外に出るものです。攻撃役や採点役に外部のAIサービスを使えば、試験の会話、つまり自社のAIの指示文を引き出そうとした文や、自社のAIが返した答えが、その提供元に送られます。試す相手が社内文書を参照するAIなら、答えには社内文書の抜粋が混じります。攻撃役と採点役には、社内で利用が承認されている契約のAIを使い、学習に使われない設定と保存の条件を確かめたうえで選んでください。Ollama のように手元で動かすAIを使えば外には出ませんが、攻撃役としての質と、手元の計算機の手配が別の課題になります。
- 個人で契約したAIの鍵を攻撃役に使い、社内文書の抜粋を含む答えを外部に送り続ける
- 大量に試す攻め方を上限なしで基準の試験に入れ、月末に呼び出し代の請求で気づく
- 攻撃役と試す相手に同じモデルを使い、同じ癖のせいで弱点が見えにくくなっていることに気づかない
- 採点役の設定を道具の版上げのたびに既定に戻し、前回と違う物差しで比べてしまう
試験してよい相手の線:本番・他社のモデル・利用規約
攻撃試験の道具は、使い方を誤ると、攻撃そのものになります。PyRIT は自社の窓口にも、ブラウザの画面越しにも、各社のAIにもつなげられるため、何を相手に試してよいかを、道具を入れる前に文書で決めておく必要があります。
まず、本番の環境に向けるかどうかです。本番の問い合わせAIに大量の攻撃文を送れば、利用記録が汚れ、利用者向けの監視の警報を鳴らし、費用も本番の予算から出ていきます。定例の試験は、本番と同じ設定を写した検証用の環境に向けるのが原則です。本番でしか確かめられないことがある場合は、時間帯と回数を決め、監視の担当に事前に知らせてから行います。
次に、他社のモデルやサービスを相手にする場合です。自社のAIが使っている外部のモデルを直接試すとき、そのモデルの提供元の利用規約が、攻撃試験をどこまで認めているかを確かめる必要があります。取引先が作ったAIや、他社のウェブサイトの問い合わせ窓口を、許可なく画面越しに試すことは論外です。ブラウザ越しにつなげる部品があるからといって、相手を選ばずに使ってよいわけではありません。
- 試験の相手は、自社が管理する検証用の環境か。本番に向ける場合の条件は書かれているか
- 外部のモデルを直接試す場合、提供元の規約で攻撃試験が認められているか
- 画面越しに試す相手は、自社のサービスだけに限られているか
- 試験を始められる人と、相手を追加するときの承認者が決まっているか
採点を鵜呑みにしない:判定不能と、人の抜き取り
攻撃が成功したかどうかを決めるのは採点の部品です。PyRIT には、成功か失敗かの二択、段階評価、分類、独自の基準といった採点の形があり、その多くでAIが採点を担います。AIの採点は大量の会話をさばけますが、採点役のAI自体にも癖があり、甘い採点が続けば攻撃の成功は見えなくなります。
1.1で採点に「判定できない」という状態が加わったことは、この問題に対する道具側の答えの一つと読めます。答えが一部だけ遮られた場合など、成功とも失敗とも言い切れない会話があることを、道具が認めるようになったわけです。社内の運用では、判定できない結果を、合格にも不合格にも数えず、人が読む箱に入れると決めておくのが安全です。数を減らしたいからと、判定できない結果を自動で合格に寄せる設定は避けてください。
さらに、採点役のAIの判定は、定期的に人の判定と突き合わせます。毎回の試験から一定の件数を抜き出し、攻撃の成功と失敗を人が付け直して、採点役とどれだけ食い違うかを記録します。食い違いが大きくなったら、その月の数字は合否の判断に使わないと先に決めておけば、採点役の不調に気づかないまま「改善した」と報告する事故を防げます。
合格の線は自社で引く:既成の試験の点数を基準にしない
スキャナーの既成の試験の組み合わせは手軽に回せますが、その点数をそのまま社内の合格の線にするのは危険です。既成の試験は、一般的な害や攻め方を幅広く確かめるために作られており、自社のAIが扱う業務、触れる情報、つながる道具に合わせて作られたものではないからです。
たとえば社内の規程を答えるAIなら、守るべきは人事の個人情報や未公開の制度改定の情報で、一般的な有害表現より、その情報が引き出されないかのほうが重要です。営業資料を作るAIなら、顧客ごとの価格や取引条件が別の顧客向けの資料に混ざらないかが問題になります。既成の試験に、自社の業務から作った攻撃文を足し、それぞれに許せる成功率の上限を決めるのが、合格の線の引き方です。
線を引くのは道具の担当者ではなく、業務の責任者と情報管理の責任者です。誰がどの項目の線を決めたかを記録に残し、線を変えるときも同じ人の承認を経るようにします。外部の専門家に試験を頼むか社内で回すかの比較は別の記事で扱っていますが、どちらを選んでも、合格の線を自社で引く必要がある点は変わりません。
記録の置き場所と、攻撃文そのものの管理
定例作業を続けると、記録には大量の攻撃文と、それに対する自社のAIの答えがたまっていきます。この記録は、社内のAIの弱点の一覧であると同時に、そのまま使える攻撃の手引きでもあります。誰でも読める共有の場所に置けば、内部の人が悪用する余地を作ります。
記録の置き場所は、手元のデータベースファイルなら保存する計算機と閲覧できる人を、Azure の SQL データベースなら接続できる人と権限を、それぞれ決めておきます。1.1では CoPyRIT の画面から会話を書き出す機能も加わりました。書き出した報告ファイルが、チャットや共有フォルダに貼られて広がる経路も、閲覧範囲の設計に含めてください。
また、記録には試す相手が返した社内文書の抜粋が含まれることがあります。保存の期間を決め、期間を過ぎた記録は消すか、攻撃文と結果の要点だけを残して答えの本文を消す、といった扱いを決めておくと、記録が漏えいの火種になるのを防げます。既成の試験には脱獄の文例の集まりも同梱されていますので、試験の環境そのものを、一般の業務の環境と分けておくのが無難です。
結果を誰が読み、誰が直すか
攻撃試験の結果は、読まれて直されなければ意味がありません。定例作業が崩れる典型は、試験は自動で回り続けているのに、結果を開く人がいなくなる状態です。道具の担当者が結果を読んでも、直す権限がなければ、報告が積み上がるだけになります。
そこで、定例作業には三つの役を置きます。道具の版と設定を保つ保守の担当、結果を読んで攻撃の成功を確かめ、深刻さを付ける読み手、指示文や参照文書や道具のつなぎ方を直す直し手です。小さな組織では一人が複数の役を兼ねてもかまいませんが、読み手と直し手は、できるだけ別の人にすると、直したつもりで同じ穴が残る事態に気づきやすくなります。
結果の受け渡しは、月に一度の短い会議で十分です。新しく成功した攻撃、前回から直った攻撃、判定できずに人が読んだ件数、採点役と人の食い違いの四つを一枚にまとめ、直す順番を決めます。直したら、同じ攻撃文で再び試し、通らなくなったことを確かめてから記録を閉じます。直した変更そのものが次の試験の引き金になる点も忘れないでください。
定例作業を回す体制の段階
最初から開発の流れに完全に組み込もうとすると、包む仕組みの作り込みに時間を取られ、結果を読む習慣が育たないまま終わりがちです。段階を分けて進めるほうが、定着しやすくなります。
第一段階は、スキャナーの既成の試験を、検証用の環境に向けて手で回す期間です。ここで、試験にかかる時間、呼び出し代、採点役と人の食い違いの大きさを測ります。第二段階では、自社の業務から作った攻撃文を足し、合格の線を決め、変更の引き金ごとに回す運用を始めます。第三段階で初めて、開発の流れに組み込み、合格の線を下回った変更は配れないようにする関門を置きます。
どの段階でも、次の段階に進む条件を先に書いておくのが大事です。たとえば「採点役と人の食い違いが三回続けて一定以下」「保守の担当が版上げを一度、手順どおりに終えた」といった条件です。条件を満たさないまま関門を置くと、関門が落ちたときに誰も原因を説明できず、線を緩める操作だけが覚えられてしまいます。
やめ方:止めても困らない作りにしておく
内製で回し始めた攻撃試験は、担当の異動、予算の削減、外部の専門家への切り替えなどで、やめる日が来ることがあります。そのときに困らないよう、試験の資産を道具の形に縛りすぎない作り方をしておきます。
具体的には、自社の業務から作った攻撃文の集まりと、項目ごとの合格の線、過去の結果の要点を、PyRIT の内部の形ではなく、一般的な表や文書の形でも持っておくことです。1.0で記録の書き出しの仕組みが取り除かれたように、道具の内部の形は版によって変わります。道具をやめても、攻撃文と合格の線と過去の判断は社内に残る状態にしておけば、外部に頼むときにもそのまま渡せます。
やめるときには、攻撃役と採点役に使っていたAIの鍵を無効にし、記録の保存場所の扱いを決め、開発の流れに置いた関門を外したことを関係者に知らせます。関門だけが残り、誰も保守しないまま古い版の道具が開発の流れで動き続ける状態は、やめる以上に危険です。
よくある質問
Microsoft の道具で試験すれば、取引先への説明に使えますか
試験の方法を説明する材料にはなりますが、お墨付きにはなりません。PyRIT は Microsoft が公開しているオープンソースの道具で、認証の制度ではないからです。説明に使えるのは、どの範囲を、どの攻め方で、どの合格の線に照らして試し、結果をどう直したかという記録のほうです。道具の名前より、記録の中身が問われます。
Python を書ける人がいなくても回せますか
スキャナーの既成の試験を回すだけなら、コマンドの操作と設定の理解で始められます。CoPyRIT の画面から対話的に試すこともできます。ただし、自社の業務に合わせた接続や採点を足したり、開発の流れに組み込んだりするには、Python を読み書きできる人が要ります。定例作業にするなら、少なくとも保守の担当は、版上げのたびのリリース文を読んで影響を判断できる人を充ててください。
外部の専門家の診断は、もう要らなくなりますか
要らなくなるとは限りません。社内の定例作業は、変更のたびに同じ物差しで悪くなっていないかを確かめるのに向いていますが、新しい攻め方を考え出すことや、社内の人には見えない思い込みを突くことは苦手です。社内では変更ごとの試験を回し、大きな変更や年に一度の見直しの時期には外部の目を入れる、という組み合わせが現実的です。
まとめ
PyRIT は、Microsoft のAI攻撃試験チームが育ててきた部品の箱で、2026年は1.0と1.1を含む大きな作り替えが続きました。無料で手に入る強力な道具ですが、定例作業にするなら、道具の版を固定して上げる日を決め、攻撃役と採点役のAIの費用と社外送信の範囲を決め、試してよい相手を文書にしておくことが前提になります。採点はAIに任せきりにせず、判定できない結果と抜き取りの結果を人が読みます。合格の線は業務の責任者が引き、結果を読む人と直す人を分け、やめるときにも攻撃文と合格の線と過去の判断が社内に残る形にしておく。そこまで決められたときに初めて、攻撃試験の内製は一度きりの行事ではなく、AIを変えるたびの安心の確かめ方になります。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
あなたのWebサイトは、AIによる攻撃に耐えられますか?
AIを活用してWebサイト・Webサービスの脆弱性を診断し、発見した問題と推奨する修正方法をご報告します。
