回帰テストを自動で書くDiffblueとは?|生成テストの受け取り方

「基幹システムを作り直す前に、テストが一本も無いのはまずいと委託先に言われた」「AIでテストを一気に書けると聞いたが、その網羅率をそのまま品質の証拠として受け取ってよいのか」——刷新や大規模改修を控えた情シスや開発の管理者から、いま増えている問いです。英国の Diffblue は2026年3月、手持ちのコーディング用AIにテストを書かせ、通るものだけを残す回帰テスト生成のエージェントを一般提供しました。同社の比較では、Java の8つのプロジェクトで平均81%の行を網羅したと公表しています。けれども、自動で生成された回帰テストが守るのは「今のコードの動き」であって、「正しい動き」ではありません。この記事では、刷新の前にAIが書いた回帰テストを受け取るとき、何を決めてから使えばよいかを、手順の順に整理します。
カメ先生テストが大量に増えて網羅率が上がると、それだけで品質が保証されたように思われがちなんだ。でも本当は、自動で書いた回帰テストは「今こう動いている」を記録したもので、今の動きが正しいかどうかは何も言っていないんだよ。
カメ子網羅率が高いことと、不具合が無いことは別の話、ということですか。
カメ先生そう。だから受け取る側が、どの範囲を守る網なのか、今の不具合をどう扱うのか、誰が中身を確かめて合格にするのかを先に決めておく必要がある。AIに書かせるのはよくても、合格の判断まで任せてはいけない。
カメ子テストを作る作業と、そのテストを信じる判断は、分けて考えるんですね。
- Diffblue は2026年、自前の推論で書く旧製品に加え、Claude Code や GitHub Copilot に書かせて検証まで束ねるエージェントを出した。後者ではコードの断片が使うAI基盤に渡る
- 生成された回帰テストは今の動きを固定する。刷新前の安全網には向くが、今の不具合まで正解として固定される点を仕分けで補う
- 網羅率は行だけでなく変異スコアで見る。委託先から受け取るときは、範囲・除外・仕分けの記録・人の確認を検収項目にする
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
Diffblueとは:オックスフォード大学発の単体テスト自動生成の会社
Diffblue は、英国オックスフォード大学のソフトウェア検証の研究者が創業した会社で、本社はロンドンにあります。公式の説明では、研究機関系の投資会社や銀行系の投資部門が出資しています。創業から約10年、扱ってきたのは一貫して単体テストの自動生成で、特に Java の業務システムを抱える大企業を顧客にしてきました。
最初の主力製品は、日本語にすれば「カバー」という名の単体テスト生成ツールです。製品ページでは、強化学習でテストを組み立てる方式をとり、開発者の端末や社内のサーバー、つまり社内のネットワークの内側で動き、コードを社外に出さないと説明しています。IntelliJ に組み込む形、コマンドで動かす形、継続的インテグレーションの中で動かす形があり、銀行・保険・製造・ライフサイエンスなどで、刷新の前にテストを用意する用途に使われてきたと同社は述べています。
国内では紹介がほとんどない会社ですが、海外では「生成AIでコードを書く」流れより前から、テストを自動で作る専門の会社として知られてきました。コードを書く道具ではなく、書かれたコードの動きを記録する道具だと捉えると、社内のどこに置くかを考えやすくなります。
2026年の動き:手持ちのAIに書かせて検証する「束ね役」へ
2026年3月24日、同社はテスティングエージェントの一般提供を発表しました。これは旧製品とは作りが違います。同社の最高技術責任者は公式ブログで、新しいコーディング用AIでも言語モデルでもなく、既存のコーディング用AIを束ねて検証する層だと説明しています。テストを1本ずつ書く仕事は、企業がすでに契約している Claude Code や GitHub Copilot に任せ、Diffblue 側は範囲の切り分け、網羅率の測定、テストの計画、並列での生成、コンパイルと実行による検証、通らないテストの差し戻し、変更の取りまとめを受け持ちます。
発表と同時に、同社は比較の結果も公表しました。実在する Java の8つのプロジェクトで、エージェントは1回の指示から自律的に動き、平均で行の81%、変異テストでの網羅61%に達したとしています。一方、コーディング用AIの扱いに慣れた熟練の開発者が Claude Code と2時間やり取りした場合は、行で32%、変異で24%にとどまったといいます。ただし、これは同社自身が選んだプロジェクトと条件での比較で、第三者による検証は見当たりませんでした。
その後も更新は続いています。5月には、今あるテストがどれだけ不具合を見つけられるかを測るテスト品質エージェントを無料で公開しました。公式ドキュメントの変更履歴では、5月の版で、生成したテストのうち検証に落ちたものを自動で削除し、その分の利用枠を返す仕組みが入り、7月の版では Google Gemini CLI と OpenCode にも対応しています。初版の対象言語は Java と Python です。
二つの製品の違い:自前で書く旧製品と、手持ちのAIに書かせる新製品
社内で検討するとき、最初に区別しておきたいのがこの二つです。旧製品のカバーは、Diffblue 自身の仕組みがテストを書き、社内で完結します。新しいテスティングエージェントは、Diffblue の仕組みが社内の端末で動くものの、テストの中身を書くのは企業が契約しているコーディング用AIです。つまり、コードの断片は、そのAI基盤の提供元に送られます。
| 観点 | 旧製品(カバー) | テスティングエージェント |
|---|---|---|
| テストを書く仕組み | Diffblue 独自の強化学習 | 企業が契約するコーディング用AI(Claude Code、GitHub Copilot CLI など) |
| コードの行き先 | 社内で完結すると説明 | Diffblue の束ね役は社内の端末で動くが、AI基盤にはコードが渡る |
| 対象言語 | Java のみ | Java と Python(初版) |
| 課金の考え方 | 製品ごとの契約 | 新たに網羅した行の数で課金。AIの利用料は別払い |
| 社内の承認先 | 開発ツールの導入審査 | 開発ツールの審査に加え、AI基盤の利用規程と契約 |
どちらを選ぶかで、社内の審査の論点が変わります。旧製品なら「社外に出ないか」を確かめれば足りる場面が多いのに対し、新製品ではすでに使っているAI基盤の契約で、学習への利用や保存の扱いがどうなっているかが審査の中心になります。逆に言えば、コーディング用AIの社内利用がすでに認められている会社では、新製品の追加の審査は比較的軽く済む可能性があります。
前提の訂正:生成テストは「正しさ」ではなく「今の動き」を写す
ここが、この記事でいちばん伝えたい点です。旧製品の製品ページは、作るテストを「今のコードの動きを反映したもの」と説明しています。新製品の手順書も、生成したテストをコンパイルして実行し、通って網羅率を上げたものだけを残し、落ちたものは差し戻すと書いています。言い換えれば、残るテストは全部、今のコードで通るテストです。
これは刷新の前の安全網としては理にかなっています。刷新の目的が「動きを変えずに中身を入れ替える」ことなら、今の動きを記録したテストは、作り直した後に動きが変わっていないかを確かめる物差しになります。ところが、今のコードに不具合があると、その不具合の動きもそのまま「期待される結果」として記録されます。自動生成の回帰テストは、今の不具合を見つける道具ではなく、今の不具合を固定する道具にもなり得るのです。
もう一つ、テストが通ったことの意味も整理しておきます。新製品は通らないテストを自動で削除し、その分は課金もしません。仕組みとしては筋が通っていますが、受け取る側から見ると、今のコードの誤りを指摘しそうなテストほど、残らずに消えている可能性があるということです。消えたテストの記録を残させ、人が見る対象に加えるかどうかは、受け取る側が決める事項です。
- 生成されたテストの網羅率を、そのまま「品質が確認された」と報告する
- 今の動きを記録したテストを、仕様の正しさの確認と同じ扱いにする
- 検証に落ちて消えたテストの記録を見ずに、通ったものだけで検収する
- 刷新後にテストが落ちたとき、刷新側の誤りと決めつけて直させる
手順1:刷新の前に、何を守る網なのかを文書で決める
ここから、受け取る側の手順に入ります。最初にやるのは、生成するテストが何を守るための網なのかを文書にすることです。刷新で動きを変えないことを守るのか、改修のたびに壊れていないかを確かめるのか、監査に出す品質の記録にするのかで、求める網羅の範囲も、人が見る量も変わります。
刷新の前の安全網なら、守る対象は「業務上の結果が変わらないこと」です。その場合、金額の計算、締めの処理、帳票の値のように、変わったら業務が止まる部分に網を集中させるのが合理的です。反対に、画面の細かな表示や、刷新で作り直すと決めた部分にまで網を張ると、作り直した後に大量のテストが落ち、落ちたテストが、意図した変更なのか事故なのかを仕分ける手間が刷新の工程を圧迫します。
この文書は、開発の管理者が書き、業務の担当者と委託先が読んで合意します。生成のエージェントには対象の範囲をモジュールやクラスの単位で絞る指定があるので、文書で決めた範囲をそのまま実行の条件に落とせます。範囲を決めずに全体へ流すのは、網の目的が無いまま網羅率だけを上げることで、後の工程で必ず困ります。
手順2:網羅率の目標は、行の数字ひとつで決めない
網羅率の目標を決めるとき、行の網羅率だけを見ると判断を誤ります。テスト品質エージェントを紹介した公式ブログ自身が、行の網羅率は「実行された」ことを示すだけで、不具合を見つけられるかは示さないと書いています。テストがコードを通過しても、結果の確認が弱ければ、壊れても気づけません。
そこで同社が重視するのが、変異テストという考え方です。コードに小さな変更をわざと入れ、テストが落ちるかどうかを見ます。落ちなければ、その部分は網に穴があるということです。テスト品質エージェントは、行の網羅、分岐の網羅、テストの強さ、変異スコアをまとめた報告を出すと説明されています。3月の比較でも、行の網羅81%に対して変異は61%で、行で網羅していても、変更を見抜けない部分が残ることが数字に表れています。
目標は、守る対象ごとに分けて決めるのが現実的です。業務上の結果に直結する計算や締めの処理は、行だけでなく変異スコアも目標に入れる。周辺の部分は行の網羅で足りるとする。全体で何%という一つの数字を契約に書くと、網羅しやすい単純な部分で数字を稼ぐことが起こりやすくなります。新製品は新たに網羅した行で課金する仕組みなので、なおさら、数字の中身を分けて見る必要があります。
手順3:今の不具合を固定しないための仕分け
生成されたテストを受け入れる前に、テストが記録した「期待される結果」を仕分けます。全部を人が読むのは現実的ではないので、業務上の結果に直結する部分から優先して、記録された値が本当に正しいかを業務の担当者が確かめる形にします。
手順1の文書で守る対象とした計算・締め・帳票の処理から、テストを抜き出します。
テストが期待値として記録した数値や状態を、業務の担当者が仕様や過去の帳票と照らします。
正しい動きとして固定するもの、不具合と分かったもの、正否を判断できないものに分けます。
不具合と分かったものは、刷新前に直すか、刷新後に直すかを決め、テストに注記を付けて記録します。
仕様が残っていない部分は、正否未確認の印を付け、刷新後に動きが変わったときの判断を誰がするかを決めます。
仕分けで大事なのは、AIに判断させないことです。期待値の正否を、生成したエージェントや別のAIに尋ねて決めるのは避けます。AIは業務の決まりを知らず、もっともらしい根拠を作ってしまうからです。AIには根拠になるコードの箇所を示させ、正否は業務の担当者が決めるという分担にしておけば、刷新後に「なぜこの値を正しいとしたか」を説明できます。
手順4:コードとトークンの流れを確かめる
新製品を入れる前に、何がどこへ出ていくかを一覧にします。公式の手順書では、Diffblue の束ね役は社内の端末で動くサーバーとコマンドの二つで構成され、生成はすべて一時的な作業用のブランチの上で行われると説明しています。ネットワークへの接続が必要なのは、利用許諾の確認、契約しているコーディング用AI、依存する部品の取得の三つとされています。
ここで見落としやすいのが、二つ目のAI基盤です。テストを書くのは Claude Code や GitHub Copilot CLI なので、対象のコードの断片はその提供元へ送られます。社内で使っているAI基盤の契約が、入力したコードを学習に使わない条件になっているか、保存期間はどうかを、新製品の審査の前に確かめます。対応は Claude Code、GitHub Copilot CLI、Google Gemini CLI、OpenCode と広がっているので、どのAI基盤で動かすかを決め、それ以外での実行を禁止しておくと管理しやすくなります。
もう一つは、実行の記録です。手順書によると、利用の記録は端末に保存され、社内の監視基盤に送る設定もできます。オフラインで使う利用許諾では、記録は利用者のメールアドレスに紐づくと説明されています。誰がどの範囲で生成を動かしたかを後から追えるよう、記録の送り先を社内に用意し、個人の端末に閉じたままにしないことを勧めます。社内の通信を代理サーバー経由に限っている会社では、その設定も手順書に用意されています。
- 規制業種で社外にコードを出せない場合は、大口契約向けにオンプレミスでの提供があると料金ページに記載がある。ただし、テストを書くAI基盤まで社内に置けるかは別途確認が要る
- 旧製品のカバーは社内で完結すると説明されている。コードを一切出せない部門は、旧製品で足りるかを先に検討する
手順5:小さな範囲で試し、自動承認を外して始める
最初の実行は、一つのモジュールか一つのパッケージに絞ります。新製品には、テストを書かずに準備と見積もりだけを行う計画の実行があり、現在の網羅率、作業の分け方、見込みの時間とコーディング用AIのトークン消費の見込みを出してくれます。本番の生成に入る前に、この見積もりを開発の管理者が見て、予算の範囲に収まるかを確かめます。
本番の生成でも、開始前に見積もりを表示して承認を求める手順があります。ところが、継続的インテグレーションのように端末の入力が無い環境では、承認が自動で済んだ扱いになると手順書に書かれています。自動で承認する指定も用意されています。試行の段階では、自動承認で動かす場所を作らず、人が見積もりを見て承認する形だけで回すのが安全です。
生成されたテストは、専用のブランチに集め、通常の変更と同じくレビューを通してから取り込みます。手順書も、主のブランチを汚さないために専用のブランチを作るよう勧めています。テストの追加だからとレビューを省かないことを、開発の決まりとして明文化しておきます。生成中に同じファイルを人が触ると衝突が起きるとも書かれているので、試行の期間は対象の範囲を凍結しておきます。
委託先・SI企業から生成テストを受け取るときの検収項目
刷新を外部に委託する場合、委託先がこの種のツールで回帰テストを用意し、網羅率の報告とともに納めてくることが増えるはずです。そのとき、網羅率の数字だけで検収すると、ここまで述べた問題をすべて受け取ることになります。検収の対象を、数字ではなく、数字を作った過程の記録にするのが基本です。
| 検収で求めるもの | なぜ必要か | 無い場合の扱い |
|---|---|---|
| 対象の範囲と除外の一覧 | 網羅しやすい部分だけで数字を作っていないかを見る | 範囲を合意し直してから再提出 |
| 行と変異スコアの両方 | 行の網羅だけでは壊れても気づけない部分が残る | 重要な処理について変異の測定を追加 |
| 期待値の仕分けの記録 | 今の不具合を正解として固定していないかを見る | 重要な処理の期待値を業務側が確認するまで保留 |
| 検証に落ちて消えたテストの件数と内訳 | 誤りを指摘しそうなテストが消えていないかを見る | 件数の報告を求め、多い部分を人が確認 |
| 使ったAI基盤と契約の条件 | 発注側のコードがどこへ渡ったかを確かめる | 情報管理の観点で是正を求める |
あわせて、委託契約の書き方も見直します。「網羅率何%」を成果の条件に書くと、委託先は数字を上げることに力を注ぎます。代わりに、守る対象を定めた文書に沿って網を張り、仕分けの記録を付けて納めることを成果の条件にします。網羅率は、その結果として報告される数字の一つに位置づけます。
刷新前の安全網に、誰が責任を持つか
自動生成のテストで最も起きやすいのは、責任の空白です。テストはツールが書き、委託先が動かし、発注側は数字を受け取るだけ、という形になると、刷新後にテストが落ちたとき、その落ち方が正しいのかを判断する人がいません。網の持ち主を、刷新が始まる前に一人決めておくことが、この種のツールを入れる前提条件です。
持ち主は、発注側の開発の管理者が担うのが自然です。委託先は網を作って動かす役、業務の担当者は期待値の正否を判断する役、情シスやセキュリティの担当はコードとトークンの流れを審査する役と分けます。刷新後にテストが落ちたときは、落ちたテストを、意図した変更・刷新の事故・もともとの不具合の三つに分ける判断を、持ち主が会議で確定させます。
この分担は、刷新が終わった後も続きます。生成したテストは、その後の改修のたびに落ちる可能性があり、更新するのは誰か、更新の費用はどこが持つかを決めておかないと、テストは次第に無視されるようになります。網を張ること自体より、網を手入れし続ける人と予算を確保できるかのほうが、導入の成否を左右します。
人が書くテストとの分担
自動生成の回帰テストは、人が書くテストの代わりにはなりません。役割が違うからです。自動生成のテストは「今どう動いているか」を広く記録するのに向き、人が書くテストは「どう動くべきか」という意図を記録するのに向いています。新しい仕様を追加するとき、テストを先に書いて意図を固めるのは、人の仕事として残ります。
分担の目安は次のとおりです。刷新で動きを変えない既存の部分は自動生成で広く押さえ、変える部分や新しく作る部分は人が意図を書く。業務上の結果に直結する計算や締めの処理は、自動生成のテストに加えて、業務の担当者と相談しながら人が要所のテストを書き足します。
テスト品質エージェントのように、今あるテストの強さを測る道具は、この分担の見直しにも使えます。人が書いたテストが多いのに変異スコアが低い部分は、意図の確認が弱い部分です。自動生成で網羅を広げる前に、まず今のテストの弱い所を測るという順番にすると、どこに人の手を割くべきかが見えてきます。
- 自動生成:刷新で動きを変えない既存の部分を、広く記録する
- 人が書く:新しい仕様、変える部分、業務の意図を表すテスト
- 両方:業務の結果に直結する計算・締め・帳票の処理
費用の増え方:網羅した行の数とトークン代
新製品の課金は、席の数ではなく、新たに網羅した行の数で決まります。料金ページでは、最初の一式が1,500ドルで5,000行、1行あたり0.30ドルと示されています。数えるのは、生成前に網羅されていなかった行のうち、コンパイルが通り、実行に成功し、安定して通るテストで新たに網羅された行だけで、すでに網羅されていた行や、落ちる・不安定なテストの行は数えないとしています。
注意したいのは、これが費用の全部ではない点です。料金ページの質問欄では、コーディング用AIの利用料は、AIの提供元に別途払うと明記されています。Diffblue への支払いと、AI基盤のトークン代の二本立てになるので、計画の実行で出るトークン消費の見込みを、AI基盤の予算の担当者と共有しておきます。大規模な業務システムでは網羅すべき行が数十万行に及ぶこともあり、量に応じて単価が下がる大口の契約が用意されているとされます。
もう一つは、生成した後の保守の費用です。テストの数が大きく増えると、改修のたびに落ちるテストの確認、継続的インテグレーションの実行時間、テストの更新に人手がかかります。テスト品質エージェントの紹介でも、弱いテストは開発者の時間を奪い、実行の費用をふくらませると書かれています。導入の判断では、生成の費用だけでなく、増えたテストを持ち続ける費用を見積もりに入れます。
止め方・やめ方を、入れる前に決める
生成の仕組みを止めること自体は難しくありません。端末で動く束ね役を止め、利用許諾を外せば、新しいテストは作られなくなります。難しいのは、すでに取り込んだテストの扱いです。生成されたテストは普通のテストのコードとして残るので、ツールをやめても動き続けます。逆に言えば、やめた後に誰が保守するかを決めておかないと、持ち主のいないテストが大量に残ります。
入れる前に、次の三つを決めておくと安心です。生成したテストに目印を付けて、人が書いたテストと区別できるようにすること。やめるときに、生成したテストを残すか、重要な部分だけ残して削るかの基準を持つこと。網羅率の目標を、ツールの継続を前提にした数字にしないことです。ツールをやめた途端に網羅率の目標が守れなくなる契約や評価の仕組みは、やめる判断を縛ります。
試行の段階では、同社が条件を満たす企業向けに90日間の評価を用意していると料金ページに書かれています。評価の期間を使うなら、成功の条件を先に決め、網羅率の数字ではなく、仕分けにかかった人の時間と、見つかった不具合の数で評価するのが、この記事の立場です。
よくある質問
社内でコードを社外に出せない場合でも使えますか
旧製品のカバーは、社内のネットワークの内側で動き、コードを社外に出さないと説明されています。新しいテスティングエージェントは、束ね役は社内の端末で動きますが、テストを書くのは契約しているコーディング用AIなので、その提供元にコードが渡ります。大口契約ではオンプレミスの提供があるとされますが、AI基盤まで社内に置けるかは個別の確認が必要です。
公表されている81%の網羅率は、自社でも期待できますか
期待の根拠にはなりません。同社が選んだ Java の8つのプロジェクトでの比較で、第三者の検証は見当たりません。網羅率は、コードの構造や今のテストの状態で大きく変わります。計画の実行で今の網羅率と見込みを出し、小さな範囲で試した結果で判断してください。
生成されたテストが落ちたら、刷新側の誤りと考えてよいですか
一概には言えません。生成されたテストは今の動きを記録しているので、落ちた理由は、意図した変更、刷新の事故、もともとの不具合のどれでもあり得ます。どれに当たるかは、網の持ち主と業務の担当者が判断します。
Java と Python 以外の言語にも使えますか
公式の発表と手順書で確認できる対象は、テスティングエージェントでは Java と Python です。それ以外の言語については、確認できた資料に記載がありませんでした。
GitHub Copilot を全社で使っていれば、このツールは要りませんか
コーディング用AIだけでもテストは書けますが、同社の主張は、範囲の切り分け、検証、差し戻しを人がやり取りしながら回すと手間が大きく、網羅が伸びにくいというものです。手間の差は自社の小さな範囲で試して測るのが確実です。どちらを使う場合も、期待値の正否を人が確かめる工程は省けません。
まとめ
Diffblue は、オックスフォード大学発の研究をもとに、単体テストの自動生成を続けてきた会社です。2026年には、手持ちのコーディング用AIに書かせ、通るものだけを残す回帰テスト生成のエージェントと、テストの強さを測る無料のエージェントを出しました。刷新の前に広く網を張る道具としては、確かに魅力があります。一方で、生成された回帰テストは今の動きを固定するもので、今の不具合も正解として記録されることを忘れてはいけません。守る対象を文書で決め、網羅率は行と変異スコアで見て、重要な処理の期待値は業務の担当者が仕分けし、コードとトークンの流れと費用を確かめ、網の持ち主を一人決める。テストを書く作業はAIに任せても、そのテストを品質の証拠として受け取るかどうかの判断は人が持つ。この線を先に引いておけば、自動生成のテストは刷新の不安を減らす道具として使えます。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
