traceblocでAIベンダーを比べる?|自社データで試す線

「どのベンダーもデモでは精度が高いと言うが、うちのデータで本当にその数字が出るのか分からない」「顧客や取引のデータを社外に出せないので、ベンダーに試してもらうこと自体ができない」——AIの導入を決める段で、情シスや調達の担当からくり返し聞く声です。ドイツの tracebloc は、自社のブログで、ベンダー1社ごとの概念実証(PoC)には4〜8週間、費用にして2万〜15万ユーロかかるのが典型だと書いています。何社も順番に試せば、時間も費用もその倍数になります。この問題への同社の答えは、データを相手に渡すのではなく、相手のモデルを自社の環境に招き入れて、同じ試験で並べるというものです。ただし、これは比べ方を変えるだけで、何を測り、どの結果で決めるかを人が決める仕事は残ります。この記事では、tracebloc をベンダー選定の前段に入れるかどうかを、何が社外に出るか、誰の権限で動くか、評価と採点を誰が担うか、費用と止め方の順に整理します。
カメ先生AIベンダーを比べるには、自社のデータを各社に渡して試してもらうしかない、と思われがちなんだ。でも本当は、向きを逆にする方法もある。データは動かさず、相手のモデルのほうを自社の中に入れて試すんだよ。
カメ子データを出さないなら、情報が漏れる心配はなくなるということですか。
カメ先生生のデータは出ない。でも、評価の数字や、自社のデータで学習した後のモデルの重みは外に出ていく。何が出るかを一つずつ確かめないと、出さないつもりで出していた、ということが起きるんだ。
カメ子データを出さないことと、何も出ないことは別の話なんですね。
- tracebloc は、自社のインフラに置いた作業環境に外部のベンダーや研究者を招き、同じ試験データと同じ指標でモデルを並べる基盤。生データは外に出ないが、メタデータの一部・評価結果・学習後の重みは同社側へ送られる
- 持ち込めるのはモデルのファイル(PyTorch など)で、容器ごとの持ち込みはない。大規模言語モデルを外部提供する型の製品や、完成品の業務ソフトはこの方法では比べにくい
- 順位表は判断材料の一つにすぎない。試験データの作り方、採点の指標、合格の線、費用・運用・契約との突き合わせは人が決め、稟議には得点の根拠と限界を一緒に載せる
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
traceblocとは:データを動かさずに外部の手を借りる作業場
tracebloc は、ベルリンに事業所を置くドイツの会社が提供する基盤です。公式ドキュメントの説明では、自社のインフラに安全な作業環境を置き、招待した相手、つまり研究者・取引先・新興企業・社内の別チームなどに、自社のデータでモデルを学習させ、追加学習させ、性能を測らせる仕組みです。作業環境を置ける場所は、手元の機械、自社のサーバー、既存の Kubernetes のクラスタ、Amazon や Azure の管理型のクラスタなどです。
公式サイトが挙げる使い道は、ベンダーのモデルの評価、規制対応のための試験の記録、自社データでの小型モデルの追加学習、他社のデータでの汎化の確認、複数の拠点にまたがる連合学習、社内の部署同士のモデル比べなどです。中でも今回扱うのは、複数のベンダーに同じ試験を受けさせ、1つの順位表で比べる使い方です。公式ドキュメントは、5つのチームが自分たちのモデルが一番だと主張しているなら、5つとも招いて提出させればよい、と説明しています。
製品としての動きは活発です。公式の Python パッケージは2026年4月末に最初の版が出たあと、月に数十回の頻度で更新され、2026年11月18日には7.0.0 が公開されました。ドキュメントの変更履歴も11月5日付けで更新されています。一方で、日本語の紹介記事はほとんどなく、国内の導入事例も公表されていません。新しく、動きの速い製品だという前提で読む必要があります。
「各社に個別のPoC」をやめるという発想
従来のベンダー選定では、提案書と実績と参照先への聞き取りで候補を絞り、残った1〜2社に概念実証を頼むのが一般的でした。この進め方には、構造的な弱点が2つあります。1つは、データを渡せない業務ではそもそも試してもらえないこと。もう1つは、各社がそれぞれ別の環境・別のデータの切り方・別の指標で結果を出してくるため、出てきた数字同士を並べられないことです。
tracebloc の公式ブログは、この問題を「測定の問題」と呼んでいます。同じ試験データを手元に残したまま、各社のモデルを同じ条件で学習・評価し、社内の既存の仕組みとも比べる。ブログでは決済の不正検知を例に、ライセンス料の最も安い候補が、誤検知による手戻りまで含めると最も高くつく、という計算を示しています。数字は同社が示した例であり、一般化はできませんが、ライセンス料ではなく、自社の業務で出る誤りの費用で比べるという考え方は、どの選定にも当てはまります。
隣の論点として、契約面で見るべき項目や、公開されている性能比較の点数の読み方は、別の記事で扱っています。ここではそれらを繰り返さず、tracebloc という仕組みを選定の前段に入れることで、何が変わり、何が新しく増えるのかに絞って見ていきます。
比べられるベンダーと、比べられないベンダー
最初に確かめるべきは、自社が比べたいベンダーが、そもそもこの方法に乗るかどうかです。公式ドキュメントによると、持ち込めるのはモデルのファイルで、対応するのは PyTorch、表データ向けの定番の機械学習ライブラリ、生存時間分析のライブラリなどです。Hugging Face 形式のフォルダや学習途中の保存点を渡すと、公式の開発キットが変換してくれます。一方で、容器ごとの持ち込みには対応していないと明記されています。
さらに、学習用の区画は既定でインターネットに出られず、公開のモデル置き場からの読み込みも止められています。つまり、外部の大規模言語モデルを呼び出して答えを返す型の製品や、ベンダー独自の実行基盤ごと動く完成品の業務ソフトは、そのままでは同じ土俵に乗りません。対応する作業は、画像の分類・物体検出・領域分割、文章の分類・固有表現の抽出、表データの分類と回帰、時系列の予測と分類、生存時間の予測、言語モデルの追加学習などです。
- 画像検査・不正検知・需要予測など、自社データで学習させる型のモデル:比べやすい。モデルのファイルを持ち込み、同じ試験データで学習と評価ができる
- 小型の言語モデルを自社の文書で追加学習させる案件:条件付き。言語モデルの追加学習には対応するが、使えるライブラリと版が決められている
- 外部提供の大規模言語モデルを呼び出す型の製品:比べにくい。学習用の区画は外に出られず、容器ごとの持ち込みもない
- 画面や業務の流れまで含めた完成品の業務ソフト:対象外。比べられるのはモデルの得点で、使い勝手や運用は測れない
つまり tracebloc で決まるのは「どのモデルが自社のデータで一番よく当たるか」までです。候補の多くが言語モデルを外部提供する型の製品なら、この仕組みを入れても選定の大半は従来どおりになります。候補の顔ぶれを先に並べ、何割がこの方法に乗るかを数えてから検討に入るのが順番です。
何が社外に出るか:生データ以外は出ていく
公式ドキュメントには、セキュリティ担当に渡すためのページがあり、共有されるものとされないものが表で整理されています。学習と試験の生データは出ません。一方で、データセットの題名・項目の構成・行数やクラスごとの件数、それに最大10件分の記録IDとそのラベルの見本は、相手が中身を知るために共有されます。同社は、記録IDがファイル名になる場合がある、と自ら注記しています。
| 出ていくもの | 行き先 | 社内で決めること |
|---|---|---|
| 生データ(学習用・試験用) | 出ない | 作業環境を置く場所と、そこに入れる範囲 |
| データの題名・項目構成・件数・記録IDとラベルの見本 | tracebloc と招待した相手 | ファイル名や項目名に顧客名・案件名が入っていないか |
| 評価の結果(指標の数値) | tracebloc と相手 | 結果を相手が社外で引用してよいか |
| 学習した後のモデルの重み | 各周回の後に tracebloc へ。既定では相手も取得できる | 相手に持ち帰らせるか、取得を止めるか |
| 利用状況の記録(エラー名・時刻など) | tracebloc | 送らない設定で導入するか |
ここで最も重いのは重みです。ドキュメントによれば、学習した重みの更新は周回ごとに暗号化して tracebloc へ送られ、複数の環境の分を平均したうえで保管されます。プライバシー文書では、同社の基盤の処理に EU 域内の Azure のデータセンターを使うと説明しています。データは出さないが、データから学んだものは出る。この線を社内の規程とどう突き合わせるかが、導入判断の中心になります。
重みの持ち帰りという見落としやすい論点
自社のデータで学習したモデルの重みには、データの傾向が写り込みます。研究の世界では、重みから学習データの一部を推定する攻撃が知られており、重みだけなら安全とは言い切れません。tracebloc の既定では、ユースケースの設定で、参加者が自分たちの実験の重みをダウンロードできるようになっています。つまり何もしなければ、ベンダーは自社のデータで鍛えたモデルを持ち帰れる状態です。
これは悪いことばかりではありません。選定に勝ったベンダーが、そのまま本番用のモデルとして納品する流れにも使えます。ただし負けたベンダーも同じように持ち帰れる設定のままだと、自社のデータで改良したモデルを他社への提案に流用される余地が残ります。公式ドキュメントでは、重みの取得はユースケースごとに管理画面で止められると説明しています。試し比べの段階では取得を止め、選定後に勝った1社とだけ契約で扱いを決めるのが無難な線です。
逆向きの論点もあります。相手のモデルを自社の環境に入れる以上、そのモデルの設計と重みは相手の知的財産です。公式の開発キットは、変換時にモデルのライセンスを読み取って提出者に確認を求めますが、試験の後に自社がそのモデルをどこまで使ってよいかは、仕組みでは決まりません。比べた結果、相手のモデルを社内で使い続けたくなったときの条件は、招待の前に書面で合意しておく必要があります。
相手のモデルを自社の中で動かす:守りの仕組みと限界
情シスが気にするのは、外部から持ち込まれたプログラムが社内で動くことです。公式の説明では、提出されたモデルは実行前に脆弱性の検査ツールで調べられ、学習の作業は1つずつ隔離された容器の中で動きます。学習用のイメージには署名と SBOM(部品表)が付いており、何を動かしているかを事前に確かめられます。作業環境と同社の基盤との通信は、内側から外へ向かう一方向で、外から入る口は開けなくてよい設計です。
ただし、ドキュメント自身が限界を書いています。学習用の区画の外向き通信を絞る仕組みは、クラスタのネットワーク部品がその制限に対応していて初めて効きます。対応していない部品の上では、設定は存在しても何も止めません。Amazon の管理型クラスタの標準の部品はそのままでは対応していない、とも明記されています。同社は導入後に遮断が効いているかを確かめる試験の手段を用意しているので、導入時にこの試験を必ず通し、結果を記録に残すことが条件になります。
- 作業環境は完全な閉域ではない。実験の割り当てと結果のやり取りのため、同社の基盤と Microsoft のメッセージング基盤への外向き通信が常に必要
- 作業環境は既定で1時間ごとに自動で更新される。社内の変更管理にかけたい場合は、自動更新を止めて版を固定する設定がある
- 2026年11月26日以降の版は、Kubernetes 1.32 より古いクラスタには入らないと告知されている。既存クラスタに入れる場合は版を確かめる
誰の権限で動くか:招待・利用規則・計算枠・データの区分
ユースケース(比べたい課題の単位)を作るのは自社の担当者で、参加できるのはメールで招待した相手だけです。招待を受けた側は、利用規則に同意してから参加し、チームを作って実験を回します。相手が見られるのは、データの概要と、自社が任意で添える探索的な分析の資料、そして順位表です。招待を出す権限を誰が持つかは、作業環境を立てる前に社内で決めておくべき点です。現場の担当が気軽に外部の人を招ける状態は、それ自体が管理の穴になります。
計算の枠は、相手1人あたり既定で50ペタフロップが割り当てられ、管理画面で増減できます。ただし公式ドキュメントでは、この値は参加者全員に共通で、特定の相手だけ枠を変えることはできないと説明しています。終了日も既定では設定されず、自社が終わらせるまで続きます。試し比べの期限と、使ってよい計算の上限は、ユースケースを公開した直後に設定するのが安全です。
見落としやすいのが、データに付ける区分です。データを取り込む際に、患者データ・公開データ・合成データのいずれかの印を付け、その印によって選べる用途が変わります。公式ドキュメントでは、患者データや印のないデータは研究目的に限られ、重みの取得も自社だけに絞られると説明しています。商用のベンダー選定に実データを使う場合にどの区分で扱えるかは、契約前に同社へ確かめておくべき点です。
試し比べの全体の工程
tracebloc を使ったベンダー比較は、ツールの操作よりも、その前後の社内の決めごとで質が決まります。公式ドキュメントは、5社を招いて1週間で順位表を作れる、と書いていますが、それは評価の問いと試験データと指標が決まっている場合の話です。社内の準備を含めると、次の7つの工程になります。
「どの不正検知モデルが既存の仕組みより見逃しを減らせるか」のように、業務と指標が結びつく問いを1つ決めます。
候補各社に、モデルのファイルで提出できるか、使うライブラリが対応範囲か、自社データで学習してよいかを確かめます。
学習用とは別に、どの社にも中身を見せない試験用のデータを切り出し、作った日と範囲を記録します。
得点に使う指標と、既存の仕組みに対して最低限超えるべき線を、候補を招く前に文書にします。
作業環境を立て、外向き通信の遮断が効いているかの試験を通し、重みの取得と利用状況の送信の設定を決めます。
候補を招待し、終了日・計算枠・利用規則を示します。追加の提出の回数も揃えます。
得点だけでなく、推論の重さ・費用・保守・契約条件を並べ、人が判断して記録に残します。
工程の前半3つは、ツールを入れる前にできることです。ここで候補の半分が「モデルのファイルでは出せない」と答えるなら、tracebloc を入れる意味は薄れます。導入の判断そのものを、工程2の結果に連動させるのが、無駄な投資を避ける近道です。
評価データの作り方:封をした試験を自社が持つ
試し比べの公正さは、試験データで決まります。tracebloc では、学習用と試験用のデータを別々に取り込み、試験用の中身は相手から見えません。この仕組みが意味を持つのは、試験データが本番の業務を代表している場合だけです。たとえば、直近の1年分を学習に使い、その後の3か月分を試験に回すなど、時期で切ると、本番に近い条件で比べられます。ランダムに切ると、似た記録が学習と試験の両方に入り、どの社も実力以上の点を取ることがあります。
もう1つの注意は、試験データを使い回さないことです。同じ試験で何度も提出と改良をくり返せば、各社のモデルは次第に試験そのものに合わせ込まれていきます。公式の順位表は、チームごとに最も良いモデルの得点で並ぶため、提出回数が多い社ほど有利になりがちです。提出の回数の上限を揃えるか、最後に一度だけ使う別の試験を手元に残しておくと、この偏りを抑えられます。
- 試験データを候補の1社に作らせる、またはその社の過去の案件のデータを流用する
- 記録IDやファイル名に顧客名・案件名が入ったまま取り込み、見本として相手に見せてしまう
- 提出の回数を揃えず、何十回も改良した社と1回だけ出した社を同じ順位表で比べる
- 試験の結果を見てから指標や合格の線を変え、望む結論に寄せる
誰が採点するか:指標を選ぶのは人、順位はその結果
tracebloc の順位表は、自社が選んだ1つの指標で各社を並べます。分類なら正解率・適合率・再現率・両者を釣り合わせた指標など、作業ごとに選べる指標が決まっています。ここでどの指標を選ぶかが、事実上の採点基準になります。不正検知で見逃しを減らしたいのに正解率を選べば、不正がまれなデータでは、何も検知しないモデルでも高い点になります。
順位表には得点のほか、モデルの大きさ、試験1件あたりの推論の計算量、使った計算枠も表示されます。得点がわずかに高くても、推論が何倍も重いモデルは、本番の費用と応答の速さで負けることがあります。公式ドキュメントも、得点・大きさ・計算の効率を見て勝者を選ぶよう案内しています。順位表の1位を、そのまま選定の結論にしないことが前提です。
AIの支援を使う場面があるとしても、それは結果の要約や比較表の下書きまでです。どの社を選ぶかをAIに判断させない。得点の差が誤差の範囲か、業務の上で意味のある差かは、業務の担当と分析の担当が一緒に読み、判断の根拠を文章で残します。根拠を書けない差は、差がないものとして扱うのが安全です。
比べた結果を調達・稟議でどう使うか
試し比べの結果が最も効くのは、稟議の場です。従来の稟議書は、各社の提案書の数字を並べるしかありませんでしたが、tracebloc を使えば「自社の封をした試験で、同じ条件で測った得点」を載せられます。ただし、得点だけを載せた稟議書は、決裁者に誤った確信を与えます。得点と一緒に、試験の条件と限界を書くことが必要です。
- 何の業務の、どの期間のデータで、何件の試験をしたか
- 選んだ指標と、その指標を選んだ理由。既存の仕組みの得点との差
- 各社の提出回数と、計算枠をどれだけ使ったか
- 得点に表れない比較:推論の重さ、保守の体制、契約条件、モデルの権利の扱い
- 試験で測れていないこと:画面の使い勝手、例外処理、運用の手間
調達の側から見ると、試し比べの結果は価格交渉の材料にもなります。2位との差が小さければ、1位の社に価格や条件の見直しを求める根拠になり、逆に既存の仕組みを超える社がなければ、買わないという結論を数字で示せます。ブログでも、1年かけて約100万ユーロを投じた末に既存の仕組みを超えなかった小売の例が紹介されています。買わない判断を早く出せることも、この仕組みの価値の一つです。
従来の個別PoCとの比較
tracebloc を入れるかどうかは、従来の進め方と並べて考えると判断しやすくなります。決定的な違いは、条件を揃える責任がベンダー側から自社側に移ることです。従来は各社が自分の都合の良い条件で結果を出していましたが、tracebloc では自社が試験と指標を決め、その代わりに環境を用意し、維持する手間も自社が負うことになります。
| 観点 | 各社に個別の概念実証 | tracebloc で試し比べ |
|---|---|---|
| データの扱い | 各社に渡す。渡せない業務では試せない | 生データは渡さない。重みと評価結果は出る |
| 比べやすさ | 各社が別条件で結果を出すため並べにくい | 同じ試験と指標で1つの順位表に並ぶ |
| 対象になるベンダー | どの型の製品でも試せる | モデルのファイルで出せる社に限られる |
| 自社の手間 | 契約と窓口の調整が社数分 | 環境の構築・維持と、試験データの準備 |
| 期間 | 1社あたり数週間を順番に | 条件が整えば並行して進む |
| 測れること | 画面や運用まで含めた全体 | モデルの得点と計算の重さが中心 |
両者は対立するものではなく、組み合わせて使うのが現実的です。まず tracebloc で候補のモデルを自社のデータで絞り込み、上位の1〜2社とだけ画面や運用まで含めた従来型の検証をする。この順番なら、重い検証を受けるのは数字で残った社だけになり、全体の期間と費用を抑えられます。
費用の増え方:計算量の課金と自社の機械と人の手間
公式サイトの料金では、無料枠は作業環境1つで月20ペタフロップまで、専門家や新興企業向けの有料プランは月30ドルで1,000ペタフロップまで、超えた分は1ペタフロップあたり0.02ドルで、大規模な組織向けは個別見積もりです。ペタフロップは計算量の単位ですが、同社は実際の演算を数えるのではなく、稼働時間から換算しています。公式ドキュメントでは、1ペタフロップはGPU1枚の約1.45時間、CPU1コアの約0.89時間に相当すると説明しています。
注意したいのは、この料金とは別に、学習を回す機械は自社持ちだという点です。作業環境は自社のインフラに置くため、GPU付きのサーバーやクラウドの利用料は自社の請求書に載ります。招待するベンダーが増え、提出の回数が増えるほど、基盤への支払いと自社の計算費用の両方が増える構造です。一方で、多くのベンダーはモデルのファイルを用意する手間を自社の負担として受け入れることになるため、参加を渋る社が出ることも見込んでおく必要があります。
費用の中で最も読みにくいのは、人の手間です。試験データの切り出しと確認、指標の決定、環境の構築と遮断の試験、招待と問い合わせの対応、結果の読み取りと稟議書の作成には、分析と情シスの担当が数週間単位で関わります。基盤の利用料が安く見えても、総額の大半は社内の人件費になると考えて見積もるのが現実的です。
止め方・やめ方:手元の削除と、先方に残るもの
試し比べを終えるときは、2つの層を分けて考えます。1つ目はユースケースの終了です。終了日を設定するか、管理画面から終わらせれば、新たな提出は止まります。2つ目は作業環境そのものの撤去です。公式の手順では、専用の削除の命令を実行すると、手元の作業環境と、tracebloc が入れた部品と、その機械上のデータが消されます。学習が動いている間は削除を拒む仕組みもあります。
ただし公式ドキュメントは、削除してもユースケースと学習済みのモデルは tracebloc 側に残り、データセットの記録は利用不可の印を付けて残ると明記しています。周回ごとに送られた重み、共有したメタデータや記録IDの見本、評価結果も、同社側の保管に残る可能性があります。これらの削除をどう求め、いつまでに消してもらうかは、利用開始前に契約と同社の窓口で確かめるべき点です。
また、招待したベンダーが既に重みを取得していた場合、その重みは相手の手元に残ります。取得を許していたかどうかで、やめるときの後始末が大きく変わります。終わり方まで見越して、重みの取得を既定のまま放置しないことが、撤退を簡単にする最も効く設定です。
よくある質問
ベンダー側は自社の生データを見られないのですか
公式の説明では、相手が提出するのはモデルのコードで、それが自社の作業環境の中で動き、相手が見られるのは評価の数値と、許可していれば学習後の重みです。ただし、データの概要と最大10件の記録IDとラベルの見本は共有されます。見本に機密が含まれないよう、取り込む前に記録IDとファイル名を見直してください。
社内の閉じたネットワークの中だけで動かせますか
完全な閉域にはなりません。作業環境は外から入る口を必要としませんが、実験の割り当てと結果のやり取りのため、同社の基盤への外向き通信が常に必要です。社内の代理サーバーを経由させる設定や、配布済みの部品から導入する方法は用意されています。
生成AIのチャットサービスを比べるのにも使えますか
外部提供の大規模言語モデルを呼び出す型の製品は、そのままでは比べにくいと考えてください。持ち込めるのはモデルのファイルで、学習用の区画はインターネットに出られません。小型の言語モデルを自社の文書で追加学習させて比べる用途には対応しています。
比べた結果を、そのまま発注の根拠にしてよいですか
得点は根拠の一つにはなりますが、それだけで決めないでください。試験の期間と件数、指標の選び方、提出回数、推論の重さ、保守と契約の条件を並べ、人が判断した理由を稟議書に書き残すことが前提です。
まとめ
tracebloc は、データを各社に渡すのではなく、各社のモデルを自社の環境に招き入れ、同じ試験と同じ指標で並べることで、AIベンダー選定の比べにくさを解こうとする基盤です。データを出せない業務でも試し比べができ、条件を揃える主導権を自社が持てる点は、従来の個別の概念実証にない強みです。一方で、生データ以外のもの、つまりメタデータの見本・評価結果・学習後の重みは同社側へ送られ、既定では相手が重みを持ち帰れます。比べられるのはモデルのファイルで出せる社に限られ、外部提供の言語モデルや完成品の業務ソフトは対象になりにくい。導入するかどうかは、まず候補の顔ぶれがこの方法に乗るかを確かめ、乗るなら試験データと指標と合格の線を人が先に決め、重みの取得を止めて始めるのが順番です。順位表は結論ではなく、人が判断の根拠を書くための材料として使ってください。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
