TestkubeのAIで予算が溶ける原因|合否は人が決める線

TestkubeのAIで予算が溶ける原因|合否は人が決める線

「失敗したテストの切り分けをAIに任せたら、翌月のAI利用料が読めなくなった」「夜中に自動で動いたエージェントが何を見て何を書き換えたのか、朝になっても誰も説明できない」——テストの自動化を進めている開発部門や、AIの利用を管理する情シスから実際に出てくる声です。Kubernetes の上でテストを実行・管理する基盤 Testkube は、2026年11月3日の月次リリースで、AIエージェントが使えるモデル、使える人、使えるトークンの上限、呼んだ道具の記録を管理者が決める機能をまとめて出しました。同社自身が「ループにはまったエージェントが、誰かが気づくまでトークンを使い続ける」ことを顧客の一番の懸念として挙げています。けれども、上限の機能を入れることと、費用と判断の持ち主を決めることは、別の仕事です。この記事では、公式の発表とドキュメントで確かめた範囲で、テストの実行と失敗の切り分けをAIに任せたときに予算と権限が膨らむ原因と、上限の重ね方、承認の線、そして合否を人が決める範囲を整理します。


カメ先生カメ先生

テストをAIに任せる話になると、AIがどこまで賢いかに目が行きがちなんだ。でも本当に揉めるのは、誰の権限で動いて、誰の予算を使って、誰が最後に合否を決めるかのほうなんだよ。


カメ子カメ子

AIの性能より、持ち主が決まっているかどうかが問題になる、ということですか。


カメ先生カメ先生

そう。Testkube は11月の更新で、モデル・使える人・トークン上限・記録の4つを管理画面にまとめた。ただ、初期設定のままだと全員が全部を使える部分もあるし、上限にも数え漏れがあると公式に書いてあるんだ。


カメ子カメ子

機能があっても、初期値と抜け道を知らないと守れない、ということなんですね。


この記事のポイント
  • Testkube は Kubernetes の中でテストを走らせる基盤で、2026年5月にAIエージェントを正式公開し、11月にモデル・使える人・トークン上限・道具呼び出しの記録を管理する機能を加えた
  • 予算が膨らむ原因は、失敗のたびに起動する自動実行、同時に走る会話、上限に数えられない消費。上限は利用者・エージェント・環境・組織の4段で重ね、一時停止の手順を決める
  • AIの切り分けは根拠つきの仮説として受け取り、状態を書き換える道具の承認と、テストの合否・リリースの判断は人が持つ

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

目次

Testkubeとは:Kubernetes の中でテストを走らせ、結果を一か所に集める基盤

Testkube は、負荷試験・API試験・画面の試験など、さまざまな道具で書かれたテストを、自社の Kubernetes の中で実行し、結果と記録を一か所に集めて管理するための基盤です。テストを実行する部分は自社のクラスタに置き、全体を束ねる管理の部分はクラウド版か自社設置かを選べる形になっています。公式は、CIの流れの中にテストを詰め込むのではなく、テストの実行をCIから切り離して、どこからでも同じ形で走らせることを打ち出しています。

会社としては、2025年9月に、投資会社 Insight Partners などが主導する800万ドルのシリーズAを調達したと発表しています。テストを実行する部分は GitHub で公開されており、2026年10月29日に2.15.0、11月12日に2.15.2が出ています。今回確認した範囲では、買収や事業終了、社名変更の告知や報道は見当たりませんでした。

読者にとって押さえておきたいのは、Testkube が「テストの道具そのもの」ではなく「テストをどこで、誰の権限で、どの順に走らせるかを握る場所」だという点です。AIエージェントがここに入るということは、テストの実行ボタンと結果の読み取りをAIに渡すということで、判断の持ち主の話が避けられない理由もここにあります。

2026年の動き:5月のAI正式公開から、11月の「エージェントの統治」まで

Testkube のAI機能は、段階を踏んで広がってきました。2025年11月10日には公式ブログで MCPサーバーを紹介し、Claude Code・Cursor・GitHub Copilot などの手元のAIから、テストの実行・結果の確認・失敗の分析を言葉で頼めるようにしています。2026年5月7日には Testkube AI を正式に公開し、失敗の分析や不安定なテストの洗い出しをするAIエージェント、テストの作成支援、MCPサーバーをまとめて打ち出しました。

9月22日には、言葉で頼んだ内容から既存の枠組みに沿ったテストを書き、自社の環境で走らせ、変更の提案(プルリクエスト)として出す「AIによるテスト作成」を発表しています。そして11月3日の月次リリースで、ここまで広げたAIの使い方を管理者が締める機能が加わりました。

  1. 2025年11月:公式ブログで MCPサーバーを紹介。誰のアカウントでつなぐかが問いになる
  2. 2026年5月7日:Testkube AI を正式公開。どのエージェントを誰が使うかが問いになる
  3. 2026年9月22日:言葉からテストを書くAIによるテスト作成。AIが書いたテストを誰が受け入れるかが問いになる
  4. 2026年11月3日:モデル・使える人・上限・記録の管理。予算と記録の持ち主を誰にするかが問いになる

11月の機能は、公式の発表では Pro と Enterprise の契約で提供されるとされています。無償の公開版だけを使っている場合、この記事の管理機能はそのままでは手に入らない点に注意してください。

課題1:AIの利用料が、誰も気づかないうちに膨らむ

テストの失敗の切り分けをAIに任せると、最初の週はたいてい好評です。夜中に落ちたテストをエージェントが調べ、要約を Slack に流し、誰かが「1時間助かった」と言う——公式の発表も、この場面から書き出しています。問題が出るのは翌週以降で、先週いくら使ったのか、どのモデルを使ったのか、木曜の夜に何をしたのかに、運用している側が答えられなくなります。

費用の面で厄介なのは、AIの利用料が2つの財布にまたがることです。Testkube の契約に含まれるAIの利用回数(後述)と、自社で登録したモデルの提供元に払う従量の利用料です。自社のAPIキーでモデルを登録した場合、トークンの請求はモデルの提供元から自社に直接来るため、テスト基盤の担当とAIの予算の担当が別の部署だと、請求書を見た側が原因を辿れません。

さらに、テストは本来「何度でも、自動で」走らせるものです。人が1回ずつ頼む会話と違い、失敗のたびに起動する仕組みを入れた時点で、AIの利用量はテストの本数と失敗の頻度に比例して増えます。テストが不安定な時期ほど失敗が増え、AIの利用も増えるという、費用の面では逆向きの関係になります。

原因:失敗のたびに起動する自動実行と、上限に数えられない消費

Testkube には、テストの実行が終わったときに自動でエージェントを起動する仕組みがあります。起動の条件は「失敗」「成功」「中断」「取り消し」から選べ、対象のテストはラベルで絞れます。ただし、ラベルを空にすると、その環境のすべてのテストが対象になります。起動の頻度も「条件に合うたび」と「前回と結果が変わったときだけ」の2つから選びます。常に落ち続けているテストに「合うたび」を選ぶと、同じ失敗を毎回AIが調べ直すことになります。

もう一つの原因は、上限の数え方そのものにあります。公式ドキュメントは、トークン上限の限界として次の点をはっきり書いています。

  • 上限は各モデル呼び出しの前に確かめるため、上限を越える最後の1回分は超過しうる
  • 使用量は1往復が終わった時点で数えるため、同時に走る複数の会話が、残りを一斉に使い切って超過しうる
  • 会話の要約・題名づけ・資料検索・エージェント設定の自動生成などは、どの上限にも数えられない
  • 上限を確かめられない状態(管理部分に届かない等)では、AIは止まらずに動き続け、上限を超えうる
  • トークン数を報告しないモデルは数えられない。公式は、主要な商用モデルは報告するが、公開モデルにはしないものもあるとしている

つまり、上限は「ここで必ず止まる壁」ではなく「おおむねここで止まる目安」です。上限の数字だけで予算を約束しないこと、そして自社で動かす公開モデルを使う場合は、トークン数が報告されるかを先に確かめることが必要です。

対策1:上限は4段で重ね、一時停止の手順を先に決める

11月の機能では、トークン上限を「利用者」「エージェント」「環境」「組織」の4つの単位に設定できます。区切りは1時間・1週間・1か月から選び、最初の区切りの開始日時(協定世界時)を決めます。複数の上限がかかる場合は最初に到達した上限で止まり、使用量が8割に達すると「上限が近い」と表示されます。上限とは別に、どの単位でもAIの利用を一時停止でき、再開するまで止まったままになります。

注意したいのは、自動起動で動いたエージェントの使用量は、どの利用者の上限にも数えられないことです。自動起動の会話にかかるのは、エージェント・環境・組織の上限だけです。人の上限だけを決めて安心していると、夜中に自動で動く分が丸ごと素通りします。

STEP1
組織の上限を、月の予算から逆算して置く

モデルの提供元への支払い見込みから、組織全体の月の上限を決めます。ここは最後の歯止めなので、余裕を持たせつつ、超過時に誰へ連絡が行くかも決めます。

STEP2
自動起動するエージェントには、1時間の上限を別に置く

ループにはまったときに被害が広がるのは自動起動の分です。月の上限とは別に1時間の上限を置き、1回の暴走が月の予算を食い尽くさないようにします。

STEP3
環境ごとに上限を分ける

検証用と本番に近い環境で上限を分けます。環境の管理者は自分の環境とそのエージェントの上限を設定できますが、組織全体の上限は組織の管理者だけが触れます。

STEP4
一時停止を押す人と、再開を判断する人を決める

上限を保存し直しても、上限を外しても、一時停止は解除されません。止めた後に誰が原因を確かめ、誰が再開を決めるかを、事前に書いておきます。

課題2:誰がどのエージェントとモデルを使えるかが、初期設定では全員

費用と並んで見落とされやすいのが、使える人の範囲です。公式ドキュメントによれば、エージェントの公開範囲の初期値は「公開」で、その環境で会話できるメンバー全員が使えます。モデルも同じで、制限を何も設定していなければ、誰でも環境のすべてのモデルを使えます。高価なモデルを1つ登録すると、その瞬間から全員の選択肢に入るということです。

加えて、最初から用意されている4つのエージェント(全般の質問に答える役、失敗の原因を調べる役、テストの設計と最適化を手伝う役、傾向をまとめて報告する役)は、削除できず、公開範囲を画面から変えられません。初期のエージェントは全員が使える前提で、誰に何を許すかを設計する必要があります。

さらに、公開範囲の制限には「開いた側に倒れる」性質があります。役割や資源グループで絞ったエージェントでも、指定した役割や資源グループがすべて外れると公開に戻ります。資源グループを削除すると、そのグループだけに開いていたエージェントは公開になる、と公式は書いています。組織の改編で資源グループを整理したとき、意図せず全員に開くことがありうるわけです。

対策2:使える人とモデルを絞る前に、契約と役割の段を確かめる

まず確かめるのは契約です。エージェントの公開範囲とモデルの制限は、契約に役割ベースの権限管理が含まれている場合だけ使えます。含まれていなければ、会話できる全員がすべてのエージェントとモデルを使える状態のままです。トークン上限と一時停止、使用量の表示は、この条件なしで使えます。自社設置の場合は、統治の機能にデータベース(PostgreSQL)が必要とされています。

公開範囲は「公開」「役割」「資源グループ」「非公開」の4つです。環境の役割は低い順に閲覧・実行・書き込み・管理の4段で、「実行」以上に開けば書き込みと管理の人も使えます。モデルは、利用者ごとの許可リストとエージェントごとの許可リストがあり、両方を設定すると両方に入っているモデルだけが使えます。

  • 組織の管理者・所有者と環境の管理者は、公開範囲にかかわらず、すべてのエージェントを使える
  • 管理者は自分の利用者ごとのモデル制限を受けない。高価なモデルの利用は管理者側で増えやすい
  • 自動起動やAPIトークンで始まった会話は、エージェント側のモデル制限だけに従う
  • 自動起動は、非公開にしたエージェントでも呼び出せる。止めたいときは自動起動の設定側を変える

運用としては、新しく作ったエージェントは非公開で試し、受け入れが済んでから役割か資源グループで開く順番にします。公式の発表も、作りかけのエージェントは非公開にしておくのが正しい設定だと書いています。そして、資源グループを整理する前には、そのグループに紐づくエージェントを一覧で確かめる手順を入れておきます。

課題3:テストを書き換える操作を、人が承認しないまま通してしまう

Testkube のエージェントは、MCPという共通の接続の仕組みを通じて道具を呼び出します。Testkube 自身の道具(テストの実行、結果や記録の取得、テストの作成・変更など)に加えて、GitHub・Jira・Slack などの外部の道具もつなげます。外部の道具をつなぐと、エージェントは課題の起票やコードの修正案の提出まで行えるようになります。

ここで鍵になるのが、道具ごとの「自動で承認」の設定です。公式ドキュメントでは、この設定は初期値でオフで、オフの道具を呼ぶと会話が止まり、人が承認するか却下するまで待ちます。また初期状態では、エージェントは Testkube のすべての道具を使え、承認が必要なのは環境の状態を変えうる道具だけです。読み取りは承認なしで進みます。

問題は、承認待ちで会話が止まることを「面倒」と感じた担当者が、外部の道具まで自動承認に切り替えてしまうことです。とくに自動起動のエージェントは、夜中に承認待ちで止まると朝まで進みません。そこで書き込みの道具を自動承認にすると、誰も見ていない時間に、AIがテストや外部の課題管理を書き換える状態ができあがります。

対策3:自動承認は読み取りに限り、書き換えは承認待ちに残す

承認の線は、道具の種類で引きます。読み取りだけの道具(結果や記録の取得、履歴の検索)は自動承認にしてよい範囲です。テストの定義の変更、テストの実行、外部への書き込み(課題の起票、修正案の提出、通知の投稿)は承認待ちに残します。夜中に止まって困るなら、書き込みを自動承認にするのではなく、自動起動のエージェントを読み取り専用にするのが筋です。

外部の道具の資格情報にも気を配ります。外部の道具への接続は、エージェントに保存した共有のキーか、会話する人それぞれのサインインのどちらかで行います。共有のキーにすると、誰が会話してもそのキーの権限で動くため、権限は最小にします。自社設置の場合、保存したキーを暗号化する鍵を設定しないと平文のまま保存され、起動時に警告が出るとドキュメントは説明しています。

  • 外部の道具ごとに、読み取りと書き込みを分けて一覧にし、自動承認は読み取りだけにしたか
  • 自動起動のエージェントに、書き込みの道具を持たせていないか
  • 共有のキーで接続する外部の道具は、専用の最小権限のアカウントにしているか
  • 自動起動用に発行されるAPIトークンの期限と、切れたときに起動が止まることを把握しているか
  • 承認を押す人が、何を見て通すかを書いた手順があるか

合否は人が決める:AIの切り分けは、根拠つきの仮説として受け取る

Testkube の失敗分析のエージェントは、実行記録・成果物・過去の履歴を調べて原因を推定し、修正を提案します。修正のプルリクエストまで出す例もドキュメントに載っています。ただし、これは原因の「仮説」であって、テストの合否やリリースの判断ではありません

テストの失敗には、コードの不具合、テスト自体の誤り、実行環境の不調(メモリ不足や時間切れ)、外部の依存先の障害が混ざります。AIは記録に出ている範囲でしか判断できず、記録に出ない業務上の前提——その画面の仕様が先月変わった、その外部APIは今週メンテナンス中——は知りません。AIに合否を判断させず、どの記録のどの行を根拠にしたかを必ず書かせることで、人が確かめられる形にします。

特に気をつけたいのは、AIによるテスト作成と失敗分析を同じ流れで回すときです。AIが書いたテストをAIが走らせ、AIが「通った」と要約すると、確かめる側も書く側も同じAIになります。Testkube 自身が9月の発表で「AIが書いたテストは何も確かめていないことがある」という題の記事を出しているとおり、テストの受け入れは、テストを書いた本人でもAIでもない人が行う線を残してください。

記録:何が残り、何が残らないか

記録には2種類あります。1つは監査記録で、MCP経由の道具呼び出しが1件ずつ残ります。残るのは、呼ばれた道具、呼んだ人、環境、成功・失敗・実行前に拒否のいずれか(理由は500字まで)、所要時間、サインインの方法(APIトークンかOAuthか)、対象を特定する名前やIDです。CSVかJSONで書き出せます。

一方で、テストの定義の本文、実行の設定、タグ、絞り込み条件、記録の検索語は、秘密情報を含みうるため監査記録には一切残さないとされています。何を呼んだかは追えても、どんな中身を渡したかは監査記録だけでは追えません。保存期間はドキュメント内でも初期180日と初期30日(自社設置の設定値)の記述があり、設定で変わるため、契約前に自社の環境で確かめてください。

もう1つは追跡の書き出しで、AIの1往復ごとに、エージェント、利用者、モデル、トークン数、呼んだ道具の名前と所要時間などを、自社の観測の基盤に送れます。ドキュメントでは、追跡には会話の文面もAIの回答も含まれないと明記されています。道具への入力と結果を含める設定もありますが、記録や結果には秘密情報や顧客データが入りうるため、送り先がそれを保管してよい場所かを確かめてから入れるよう注意書きがあります。

何が社外に出るか:モデルの提供元と、手元のAIの二経路

Testkube のAIがどのモデルを使うかで、データの行き先が変わります。クラウド版の初期のモデルは、ドキュメントでは OpenAI の GPT-5.2 とされています。自社でモデルを登録する場合は、OpenAI・Anthropic、または同じ形式で呼べるサービス(Azure の OpenAI や、自社で動かすモデルなど)を選べます。

モデルの置き方データの行き先(公式の説明)社内で確かめること
自社で動かすモデル自社の環境から出ない。外部と遮断した環境にも対応トークン数が報告されるか。性能が足りるか
自社のAPIキーで外部の提供元質問と、記録・テスト名・実行の詳細が提供元に送られる提供元のデータの扱いと、契約上の保存・学習の扱い
Testkube が用意する中継試用・デモ専用。本番や機微な環境では使わないよう明記試用の後に、本番用の設定へ切り替えたか

もう一つの経路は、開発者の手元のAIです。手元の Claude Code や Cursor から MCPサーバー経由で Testkube を使うと、テストの結果や記録が手元のAIに渡り、そのAIの提供元に送られる可能性があると、公式も注意を促しています。Testkube 側の設定だけでは、手元のAIの行き先は管理できないため、社内で許可している手元のAIの一覧と突き合わせます。

費用の増え方と、止め方・やめ方

公式の料金ページでは、Pro は実行の拠点(ランナー)1つあたり月額700ドルで、AIの利用50回分を含むとしています。AIの利用は追加購入でき、月200回で199ドル(テスト作成の席3つ)、月500回で499ドル(同10席)、それ以上は個別の相談です。Enterprise は個別見積もりで、自社設置、SSO、SCIM、SOC 2 の認証、完全な監査記録などが加わります。

ここでいうAIの利用1回は、会話1つではなく1つの会話を15分続けた単位です。長い会話は複数回に数えられ、新しい会話は必ず新しい1回になります。手元のAIからのMCP経由の道具呼び出しは別に数えられ、期間の上限と短時間の呼び出し回数の上限の2つがあります。つまり費用は、ランナーの数、AIの利用回数、テスト作成の席、モデルの提供元へのトークン代の4つで増えます。

止め方は、組織全体の一時停止が最短です。管理画面の上限一覧から組織全体を止められ、走っている回答も約30秒ごとに上限を確かめ直して止まるとされています。やめるときは、登録したモデルのAPIキーを提供元の側で無効にし、自動起動用のAPIトークンと外部の道具の資格情報を取り消し、監査記録を書き出して保管します。テストの定義は自社のクラスタやリポジトリに置く構成をとれるので、AIの利用だけを止めてテスト基盤は使い続ける、という引き返し方もできます。

導入前に決める:誰が何を持つか

ここまでの話を、持ち主の表にまとめます。Testkube の管理者の役割は「組織の管理者・所有者」と「環境の管理者」に分かれており、組織の管理者しか触れない設定(使える人・モデルの制限)と、環境の管理者も触れる設定(その環境の上限と一時停止)があります。部署の分担をこの区切りに合わせると、責任の線が曖昧になりません。

決めること持ち主の例Testkube 側の担い手
組織全体のトークン上限と月の予算情シスまたはAI導入の担当組織の管理者・所有者
使えるモデルの許可リスト情シス(提供元の契約を持つ部署)組織の管理者・所有者
エージェントの公開範囲開発部門の管理者と情シス組織の管理者・所有者(作成者は公開と非公開だけ)
環境ごとの上限と一時停止各開発チームの責任者環境の管理者
書き込みの道具の承認そのテストの持ち主会話で承認を押す人
テストの合否とリリースの判断開発部門・品質の責任者AIには持たせない

表の最後の行が、この記事の要点です。AIが分析し、提案し、修正案まで出せるようになっても、合否とリリースの判断はAIに持たせません。それ以外の行は、Testkube の設定で担い手を決められますが、最後の行だけは、設定ではなく社内の取り決めで守るものです。

よくある質問

無償の公開版でも、11月の管理機能は使えますか

公式の発表では、11月の機能は Pro と Enterprise で提供されるとされています。さらに、使える人とモデルの制限は契約に役割ベースの権限管理が含まれる場合だけ有効です。公開版でAIを試す場合は、上限や記録の管理がない前提で、読み取り中心の使い方にとどめるのが安全です。

トークン上限を入れれば、予算超過は起きませんか

起きえます。公式ドキュメントは、上限を越える最後の1回分、同時に走る会話、数えられない消費、上限を確かめられない状態での超過を限界として挙げています。上限は目安と考え、モデルの提供元の側でも利用額の上限や通知を設定しておくと二重の歯止めになります。

監査記録があれば、AIが何をしたか全部追えますか

呼んだ道具、呼んだ人、成否、対象の名前は追えますが、テストの定義の本文や実行の設定などは記録されません。中身まで追う必要があるなら、追跡の書き出しで道具への入力と結果を含める設定がありますが、秘密情報が送り先に渡る点を踏まえて判断してください。

手元の Claude Code や Cursor から使わせてもよいですか

つなぐ前に、手元のAIが社内で許可されているかと、そのAIの提供元のデータの扱いを確かめてください。接続は一人ひとりのサインイン(OAuth)を使うと、誰が何をしたかが監査記録に残ります。自動化のためにAPIトークンを使う場合は、分析には閲覧、実行には実行の権限に絞り、本番に近い環境は閲覧のみにすることを公式も勧めています。

まとめ

Testkube は、Kubernetes の中でテストを走らせる基盤に、失敗の分析やテスト作成をするAIエージェントを載せ、2026年11月にはモデル・使える人・トークン上限・道具呼び出しの記録を管理する機能を加えました。予算が膨らむ原因は、失敗のたびに起動する自動実行、同時に走る会話、上限に数えられない消費にあり、上限は4段で重ねても「おおむねの目安」です。使える人とモデルの制限は契約と初期値を確かめ、自動承認は読み取りに限り、データの行き先はモデルの置き方と手元のAIの二経路で確かめます。そして、AIの切り分けは根拠つきの仮説として受け取り、テストの合否とリリースの判断は人が持つ。この線を先に引いてから、AIにテストを任せる範囲を広げてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

運営会社:株式会社デボノ

目次