Tensormeshの途中計算も機密文書だ|残す範囲と分け方

Tensormeshの途中計算も機密文書だ|残す範囲と分け方

「社内文書を読ませるLLMの応答が遅いのは、GPUが足りないからだ。台数を増やす予算を取ろう」「途中計算を残すだけの仕組みなら、中身は数字の塊だから情報管理の対象外でいい」——自社でLLMを動かし始めた情シスやAI導入担当の会議で、よく出てくる二つの見立てです。どちらも半分しか当たっていません。遅さの多くは、同じ前置きや同じ文書を毎回読み直す計算から来ています。そしてその読み直しを省くために残す途中計算は、元の社内文書から作られたデータです。この記事では、米国の新興企業 Tensormesh が2026年10月に発表した企業向けの基盤を例に、自社LLMの途中計算(KVキャッシュ)をGPUの外に残して部門をまたいで使い回してよいか、残す範囲と分け方、自前運用との比べ方、止め方を整理します。


カメ先生カメ先生

自社のLLMが遅いと、まずGPUを足す話になりがちなんだ。でも本当は、同じ社内文書や同じ指示文を、問い合わせのたびに最初から計算し直していることが原因になっている場面が多いんだよ。


カメ子カメ子

計算し直さずに、前の結果を取っておけば速くなる、ということですか。


カメ先生カメ先生

そう。それがKVキャッシュを残す仕組みで、Tensormesh はそれを企業の基盤として運用するための製品なんだ。ただ、取っておく途中計算は機密文書を読んだ結果だから、どこに何日残すか、どの部門と共有するかを先に決めないといけない。


カメ子カメ子

速さの道具に見えて、実は文書管理の話でもあるんですね。


この記事のポイント
  • Tensormesh は自社で動かすLLMの途中計算を、GPUの外のメモリやストレージに残して再利用する基盤。速くなるのは同じ前置きや文書が繰り返し読まれる場合に限られる
  • 途中計算は社内文書から作られたデータとして扱い、残す場所・保持・削除・部門の区切りを人が決める。暗号化されるのは外部保存の層だけ
  • OSSの LMCache を自前で回すか商用版を入れるかは、安全の手当てと運用の手間で比べる。プレビュー機能と、やめるときに残るものも先に確かめる

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

目次

Tensormeshとは:自社で回すLLMの途中計算を保管する層

Tensormesh は、自社で動かすLLMのKVキャッシュを扱う米国の新興企業です。オープンソースの LMCache を開発してきた研究者たちが創業し、報道によればシカゴ大学・カリフォルニア大学バークレー校・カーネギーメロン大学の教員や研究者、卒業生が中心です。2026年5月27日には、AMD・CoreWeave・NVIDIA の投資部門などから2,000万ドルの追加調達を発表し、シード段階の累計は2,450万ドルと公表しています。

製品は大きく二つあります。一つは同じ5月に一般提供を始めた推論サービスで、Tensormesh 側の環境でモデルを動かす形です。もう一つが2026年10月14日に発表された企業向けの基盤で、自社の Kubernetes の上に入れて、自社の vLLM の横で動かすものです。この記事が扱うのは後者です。前者は問い合わせの中身が社外の事業者に渡る点で、判断の論点がまったく変わります。

企業向けの基盤は、LMCache の保管エンジンを各GPUノードに配り、全体を一つの管理役がまとめる作りです。公式ドキュメントは、繰り返し出てくる前置きや長い文脈をGPUで計算し直すかわりにキャッシュから読み出し、最初の文字が返るまでの時間を縮め、GPUのメモリを空けると説明しています。外部のAPI事業者が提供するキャッシュ料金の話とは別物で、自社のGPUと自社のサーバーの中で完結する仕組みだという点を最初に押さえておきます。

よくある誤解:遅いのはGPUが足りないから

LLMは、質問に答える前に、渡された文章全体を読み込む計算をします。社内規程を前置きに入れたチャット、同じ製品マニュアルを何度も参照する検索拡張(RAG)、会話の履歴を毎回送り直すエージェントでは、答えの前に読む部分のほうが、答えそのものより重いことがよくあります。この読み込みの結果がKVキャッシュで、通常はGPUのメモリが足りなくなると捨てられ、次に同じ文章が来たときにはもう一度計算されます。

つまり、遅さの原因が読み直しにあるなら、GPUを足しても読み直しは同じだけ発生します。逆に、問い合わせのたびに内容がまったく違う使い方なら、途中計算を残しても再利用されないので速くなりません。Tensormesh の公式ドキュメントも、効果はプロンプトがどれだけ繰り返されるかに比例すると明記し、一度きりの問い合わせが中心ならキャッシュは埋まって捨てられるだけだと書いています。

開発チームの研究では、文書の断片を使い回す方式で、全部を計算し直す場合に比べて最初の文字までの時間が2.2〜3.3倍速くなったという結果が国際学会で報告されています。ただしこれは公開モデル3種と評価用データ4種での結果で、自社の業務で同じ数字が出る保証はありません。GPUの増設と途中計算の保管は代わりになる関係ではなく、効く場面が違うと捉え、まず自社の問い合わせにどれだけ繰り返しがあるかを測るところから始めます。

途中計算には何が入っているのか

KVキャッシュは、人が読める文章ではなく数値の並びです。そのため「暗号のようなものだから機密ではない」と扱われがちです。しかしこれは、社内文書や問い合わせの文章をモデルが読み込んだ結果そのもので、元の文章と一対一に対応しています。Tensormesh の CEO も資金調達の発表で、KVキャッシュは問いに対するAIの解釈が詰まった新しい種類のデータだと述べています。

実務上の手がかりは、公式ドキュメントの暗号化の章にあります。暗号化を有効にしたあと、外部ストレージに保存されたファイルを直接開き、見覚えのあるプロンプトの中身ではなく、意味のないバイト列になっていることを確かめるよう案内しています。裏を返せば、暗号化しないまま保存すれば、保存先の中身から問い合わせの手がかりが読み取られうる前提で設計されているということです。

このため、途中計算は元の文書と同じ機密区分で扱うのが安全です。人事評価の資料を読ませた問い合わせの途中計算は人事評価の資料と同じ扱いにし、営業部門の汎用チャットと同じ保存先に混ぜない。この線を情報管理の担当と合意してから、どの用途の途中計算を残すかを決めます。AIの側に「これは機密かどうか」を判断させる設計にはしません。

どこに残るのか:GPU・メインメモリ・外部ストレージの3層

Tensormesh の基盤は、途中計算を3つの層に置きます。GPUのメモリ(最も速い・vLLM が管理)、各サーバーのメインメモリ(既定で有効)、そして任意で追加する外部ストレージです。公式ドキュメントでは、メインメモリの層は既定でノードあたり60GBを確保し、あふれた分は外部ストレージに送られます。外部ストレージを足すのは、使い回したい量がメモリに入りきらない場合か、再起動をまたいで再利用したい場合です。

置き場所残り方暗号化情報管理で決めること
GPUのメモリ処理中だけ。足りなくなると押し出されるされない通常の推論と同じ扱いでよい
メインメモリ(既定60GB/ノード)サーバーが動いている間。古いものから押し出されるされないそのサーバーに誰がログインできるか
外部ストレージ(ディスク・共有ストレージ・オブジェクトストレージ)再起動後も残る。消すまで残りうる設定すれば暗号化保存場所・保持期間・消去手順・バックアップ対象にするか

注意が要るのは外部ストレージです。各ノードのローカルディスクに置く形ではノードごとに別々のキャッシュが残り、複数ノードで共有したい場合は共有ストレージを使う、と公式は説明しています。後者を選ぶと、全社のバックアップ対象のストレージに途中計算がまとめて置かれることになりかねません。保存先のディスクが既存のバックアップ設定の対象に入っていないか、情報システム部門の資産台帳に載せるかを、導入前に確かめておきます。

暗号化で守れる範囲と守れない範囲

公式ドキュメントによると、暗号化の対象は外部ストレージに置かれた途中計算だけです。メインメモリとGPUのメモリにある分は平文のままで、暗号化は「外部ストレージが自社の信頼の範囲の外にある場合に有効にする」ものと位置づけられています。外部ストレージがGPUサーバーと同じくらい信頼できる場所にあるなら、暗号化しても得るものは少ない、とまで書いています。

鍵の扱いにも癖があります。主鍵は Kubernetes の秘密情報として自社で用意し、部門ごとの鍵はそこから導出されます。ただし主鍵は全体で一つで、部門と部門の間の壁にはならないと公式自身が書き、部門どうしをきちんと分けたいなら部門ごとにエンジンを分けるよう勧めています。また、主鍵を入れ替えると古い途中計算はすべて読めなくなり、外部ストレージは空の状態から温め直しになります。

さらに、暗号化しても「どの部門がどれだけ使ったか」という利用量の情報は見えたままだと明記されています。暗号化を入れたから情報管理は済んだ、とは考えないほうがよいでしょう。暗号化は外部ストレージの盗み見に対する手当てであり、部門の分離や保持期間の代わりにはならないと、社内の審査資料にもそのまま書いておくと誤解を防げます。

部門を分ける線:区切り値と、エンジンを分ける方法

一つの保管エンジンを複数の部門やアプリで共有する場合、Tensormesh は二種類の分離を用意しています。一つは、問い合わせごとに付ける区切り値です。同じモデルで同じ区切り値なら途中計算を共有でき、区切り値が違えば共有されません。もう一つは容量の分離で、区切り値ごとに使ってよい容量を割り当て、一つの部門が全体を埋めて他の部門の途中計算を押し出さないようにします。

割り当ては許可制で、容量を登録していない区切り値は、保存されても約1秒後の整理で消されると公式は説明しています。部門を新しく足すときは、割り当ての登録を忘れると速くならないかわりに、途中計算が長く残ることもありません。安全側に倒れる設計といえますが、登録の手順と承認者を決めておかないと、現場が「速くならない」と言い出したときに誰も原因に気づけません。

区切り値と割り当ては、あくまで一つの共有の器の中での論理的な分け方です。人事・法務・経営企画のように、他部門と同じ器に置くこと自体が許されない用途には、部門ごとに別のエンジンを立て、専用のGPUノードに寄せる方法が公式に用意されています。効率は落ちますが、器を分ければ途中計算が共有される余地はそもそもありません。どの部門を同じ器に入れてよいかは、性能ではなく情報の区分で決めます。

区切り値を付けるのはアプリ側。だから任せきりにしない

見落としやすいのは、区切り値を誰が付けるかです。公式ドキュメントの役割分担表では、区切り値は推論を呼び出すアプリの側が、問い合わせの本文に入れるものとされています。基盤の運用担当が決めるのは保管エンジンの容量や整理の設定で、どの問い合わせがどの区切り値を名乗るかは、各アプリの作りに委ねられています。

区切り値を付け忘れた問い合わせは、空の区切り値、つまり既定の共有領域に入ります。部門ごとのアプリを別々の開発会社や担当者が作っていると、一つのアプリだけ付け忘れて既定の領域に途中計算を置き続ける、ということが起こりえます。区切り値は利用者が自由に変えられる入力ではなく、アプリの設定として固定し、部署の割り当て表と突き合わせる運用にします。

また、途中計算の共有に関わる不具合は、推論エンジンの側でも報告されています。vLLM では2026年11月に、別の要求の前置きを使って応答が作られうる競合の不具合が公開されました(評点は低く、条件も限られます)。保管の層を分けても、その手前の推論エンジンの不具合は別に追う必要があります。推論エンジンと保管の層の両方の更新情報を、誰が追うかを決めておくことが、部門分離の前提になります。

保持期間と削除:消えるのは「古いものから」

文書管理の感覚で「途中計算は何日で消えるのか」と聞くと、答えは少し違います。公式ドキュメントで説明されている整理の仕組みは、使用量が上限の8割に達したら、古いものから2割を消すという容量ベースのものです。日数で区切る保持期間の設定は、今回確認できた範囲のドキュメントには見当たりませんでした。外部ストレージに置いた分は、容量に余裕がある限り長く残る可能性があります。

ここから導かれるのは、元の文書を削除しても途中計算は自動では消えない、ということです。社内規程を改訂した、退職者の評価資料を廃棄した、取引先との契約が終わって資料を消した——こうした場面で、元の文書の削除と、途中計算の消去を同じ手続きに入れる必要があります。公式の管理機能には区切り値ごとの割り当てを外す操作があり、外した区切り値の途中計算は次の整理で消されると説明されています。発表記事では、途中計算の固定・移動・消去を指示する管理用の機能も紹介されています。

実務では、部門や用途ごとに区切り値を分けておくと、消去の単位にもなります。「人事評価の用途をやめたら、その区切り値の割り当てを外し、外部ストレージの該当ファイルが消えたことを確かめる」という手順を、情報管理の担当が確認する項目として文書化しておきます。消えたことの確認まで含めて、人が責任を持つ範囲です。

効く条件と効かない条件

公式ドキュメントが効く例として挙げているのは、共通の指示文、毎回付ける例文、複数回のやりとりが続くチャット、同じ文脈が繰り返し出てくる検索拡張です。社内の用途に置き換えると、全社共通の規程を前置きに入れた問い合わせ窓口、同じ製品資料を何度も読む営業支援、長い会話履歴を持つエージェントなどが候補になります。

  • 同じ前置き(指示文・規程・製品資料)が多くの問い合わせで共通している
  • 前置きの長さが、保管の最小単位(既定256トークン)より十分長い
  • 同じ内容が、押し出される前に再び読まれる頻度で使われている
  • 問い合わせのたびに日付や番号が先頭に入るなど、前置きが毎回変わる作りになっていない

反対に効かないのは、一度きりの要約や翻訳、毎回違う資料を読ませる使い方です。また、既定256トークンより短いプロンプトは保存すらされないと公式は書いています。検索拡張で毎回違う順番に文書の断片が並ぶ場合、先頭が一致しないので通常の再利用は効かず、先頭以外の再利用(CacheBlend)が必要になります。この機能は公式ドキュメントでプレビューと表示されており、本番の前提にするには対応モデルと検証の状況を確かめる必要があります。

比較:OSSの LMCache を自前で回すか、商用版を入れるか

Tensormesh の企業向け基盤の中核は、Apache 2.0 ライセンスで公開されている LMCache です。LMCache 自体は GitHub で活発に更新されており、vLLM に組み込んで自前で運用することもできます。では商用版を入れる意味は何か。公式ドキュメントから読み取れる違いを並べると、次のようになります。

比べる点LMCache を自前で運用Tensormesh の企業向け基盤
入手公開リポジトリから誰でも入手できる配布物の取得に Tensormesh が発行するアクセス用の鍵が要る
版の組み合わせエンジン・推論側の版を自社で合わせるエンジン・管理役・配布設定を一組で検証して提供(混ぜると対象外)
配備と復旧自社で作るKubernetes のオペレーターが配備し、部品の停止からの復旧を検証済みと公表
監視の画面自社で作る読み取り専用の管理画面と、利用状況の指標を出す仕組み
レッドハットのコンテナ基盤自社で動作を確かめる認証済みオペレーターとして提供
安全の更新公開情報を見て自社で当てる検証済みの版の組み合わせで更新される

要するに、商用版で買うのは機能というより「検証された組み合わせと運用の手間の削減」です。GPUサーバーと Kubernetes を自社で深く扱える人がいて、使う機能が限られているなら自前でも回せます。逆に、推論基盤の担当が一人か二人しかいないなら、組み合わせの検証や更新の追従を外に任せる意味は大きくなります。費用は公開の料金表がなく、見積りで確かめることになります。

自前運用で見落としやすい安全の穴

自前で回す場合の注意を、具体例で見ておきます。2026年10月7日、LMCache の複数プロセス構成に、認証のない通信口に細工した電文を1通送るだけで任意のコードが実行される脆弱性(CVE-2026-105192、評点9.8)が、修正版より先に公開されました。影響は0.3.9から0.5.5までで、10月14日公開の0.5.6で修正されています。

LMCache の開発チームは、自分たちの Kubernetes 向けの配備例が全ての通信口で待ち受ける設定になっていたため、例をもとに組んだ環境は攻撃にさらされていたと見なすべきと書いています。さらに0.5.6の時点でも、構成要素の間の通信には認証がなく(0.5.7で対応予定)、公式のコンテナは管理者権限で動くと説明しています。手元で試した配備例をそのまま本番に持ち込むと、こうした前提も一緒に持ち込むことになります。

自前運用を選ぶなら、通信口を信頼できるクラスター内の通信に限る、ネットワークの制御で外から届かないようにする、更新を全ノード同時に当てる、といった手当てを自社の責任で続けることになります。商用版の現行の組み合わせ(2026年10月19日時点)は修正済みの0.5.6を使っていますが、どちらを選んでも、保管の層の脆弱性情報を追う担当は社内に必要です。途中計算の層は「速くするための部品」ではなく、機密文書の派生物を扱うサーバーとして守ります。

一般提供の範囲と、プレビュー・予定の機能

発表記事や紹介記事には多くの機能が並びますが、公式ドキュメントは「検証済み」と「対応」を分けています。検証済みは Tensormesh の検証工程で試され本番に使えるもの、対応はOSS版では動くが同社の検証工程には入っていないもので、本番前に自社で試す必要があると明記されています。対応モデルの一覧を見て安心せず、自社で使うモデルが検証済みの側にあるかを確かめます。

  • 2026年10月19日時点の互換表で検証済みとされる推論エンジンは、vLLM、NVIDIA の分散推論基盤、もう1種の推論エンジン。別の推論エンジンへの対応は予定。
  • ドキュメントの見出しでは、先頭以外の再利用(CacheBlend)、機械間の直接受け渡し、前処理と生成の分離に「プレビュー」の表示がある。互換表では機械間の直接受け渡しは予定扱い。
  • レッドハットのコンテナ基盤向けの認証版は、外部と切り離した環境での導入に今回の版では対応していないと書かれている。

社内で稟議を書くときは、今の版で検証済みの機能だけを前提に効果を見積もり、プレビューの機能は「将来使えれば上乗せ」として分けて書きます。とくに検索拡張で効果を見込む場合、先頭以外の再利用がプレビューのままだと、見込んだ効果が出ないことがあります。発表記事の数字ではなく、自社のモデルと自社の問い合わせで測った数字を判断材料にします。

運用で人が持つ範囲:画面は見るだけ、操作は人が行う

商用版の管理画面は、公式ドキュメントで厳密に読み取り専用と説明されています。エンジンの状態、容量、GPUの状況は見られますが、割り当ての変更、再起動、キャッシュの消去はできません。画面は問題とその直し方を示し、実際の変更は運用担当がコマンドや配備設定で行う作りです。

画面には独自のログイン機能がなく、既定ではクラスターの内側からしか見えません。チームで共有するときは、入口にシングルサインオンを置く形が案内されており、Okta や Entra など自社の認証基盤で退職者の権限をまとめて外せます。一方、部門ごとの容量の割り当ては保管エンジンの管理用の窓口から操作する作りなので、その窓口に誰が届くかをネットワークで絞ることが運用上の要点になります。

監視の指標は区切り値ごとに集計でき、部門ごとの再利用率を出せます。ここで大事なのは、数字を見て「この部門は効いていないから割り当てを減らす」といった判断を自動にしないことです。割り当ての変更と消去は人が承認し、変更の記録を残す。AIや自動化に任せるのは指標の集計までにとどめ、根拠となる数字を添えて担当者が判断します。

小さな新興企業に頼るときの止め方

Tensormesh は2026年に一般提供を始めたばかりの小さな会社です。導入を決めるなら、やめ方も同時に決めておきます。良い知らせは、途中計算は消えても作り直せるデータだという点です。保管の層を外しても、推論は vLLM 単体の動きに戻るだけで、遅くはなっても答えが出なくなるわけではありません。止めることで失うのは速さであり、業務データではありません。

ただし、きれいに外すには手順が要ります。公式の構成説明によると、配備設定を外しても、クラスター全体に登録された定義と権限の設定は残るため、明示的に消す必要があります。また、管理役を先に消すと、エンジンの定義が名前空間の削除を止めてしまうことがあると書かれています。外部ストレージに置いた途中計算のファイルも、自動では消えません。

もう一つの備えは、中核が公開のOSSだという点です。商用版の提供条件が変わっても、LMCache を自前で回す道は残ります。ただし前の節で見たとおり、その道を選ぶなら安全の手当ては自社持ちです。撤退の手順書に「定義と権限の削除」「外部ストレージの消去の確認」「vLLM 単体に戻した後の応答時間の再測定」の3点を入れておくと、いざというときに慌てずに済みます。

導入判断の進め方

ここまでの論点を、社内で判断する順番に並べます。ポイントは、性能の検証より先に情報の区分を決めることです。

STEP1
繰り返しの量を測る

今の推論の記録から、同じ前置きや同じ文書がどれだけ繰り返し読まれているかを数える。繰り返しが少なければ、ここで見送る。

STEP2
残してよい用途を決める

情報管理の担当と、途中計算を残してよい用途・残さない用途を分ける。機密度の高い用途は最初の対象から外す。

STEP3
器と区切り値を設計する

同じ器に入れてよい部門の組を決め、器を分ける部門と区切り値で分ける部門を決める。区切り値はアプリの設定として固定する。

STEP4
消し方と保持を決める

外部ストレージを使うか、使うなら暗号化と保存先、元の文書を消したときの消去手順を決める。

STEP5
検証済みの機能で試す

自社のモデルが検証済みの側にあるかを確かめ、プレビュー機能を除いて小さく試す。再利用率と応答時間を、導入前の数字と比べる。

よくある失敗も挙げておきます。

  • 発表記事の「最大何倍」の数字をそのまま稟議の効果に書き、自社で測らない
  • 全部門を一つの器に入れ、区切り値の付与を各アプリの開発者任せにする
  • 外部ストレージを共有ストレージに置き、全社のバックアップに途中計算が混ざる
  • 配備例をそのまま本番に使い、通信口が外から届く状態で動かす
  • 元の文書を削除したのに、途中計算の消去を手続きに入れていない

よくある質問

途中計算から元の文章を読み取られる心配はありますか

公式ドキュメント自体が、暗号化の確認として「保存されたファイルにプロンプトの中身が見えないこと」を挙げています。暗号化していない保存先では手がかりが読み取られうる前提で、元の文書と同じ機密区分で扱うのが安全です。

外部のAPI事業者のキャッシュと何が違いますか

API事業者のキャッシュは事業者の設備の中で管理されます。Tensormesh の企業向け基盤は自社の Kubernetes 上で動き、保存先・保持・削除を自社で決めます。そのぶん、管理の責任も自社に残ります。

GPUの増設と比べて、どちらを先に検討すべきですか

まず問い合わせの繰り返しの量を測ります。繰り返しが多いなら途中計算の保管が先、問い合わせが毎回違うならGPUの増設や構成の見直しが先です。両者は代わりではなく、効く場面が違います。

費用はどのように決まりますか

企業向け基盤の公開の料金表は確認できませんでした。配布物の取得に同社発行の鍵が要る形なので、見積りで確かめます。比較の際は、自前で運用する場合の担当者の工数も同じ表に載せます。

まとめ

Tensormesh は、自社で回すLLMの途中計算をGPUの外に残し、同じ前置きや文書の読み直しを省く基盤です。遅さの原因が読み直しにあるなら、GPUの増設より効くことがあります。ただし残すのは社内文書から作られたデータで、暗号化されるのは外部ストレージの層だけ、主鍵は全体で一つ、整理は日数ではなく容量で進みます。どの用途の途中計算を残すか、どの部門と器を共有するか、元の文書と一緒にどう消すかは、製品ではなく自社が決めることです。検証済みの機能だけで小さく試し、撤退の手順まで書いてから広げてください。

  • 本記事の仕様は、2026年11月時点の Tensormesh 公式ドキュメント(v1.0.1)、LMCache 公式ブログ、資金調達と製品の発表報道に基づきます。最新の内容は公式で確かめてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

運営会社:株式会社デボノ

目次