自社のLLMが詰まる原因と対策|llm-dで分ける境目

「社内のAI窓口を全社に開放したら、朝の時間帯だけ返事が極端に遅くなった」「長い契約書や議事録を読ませる使い方が増えてから、短い質問まで待たされるようになった」——オープンモデルを自社のデータセンターや専用クラウドで動かしている情シスや基盤の担当から、2026年に入って増えた相談です。多くの会社はここで「GPUを足す」見積りを取ります。けれども、詰まりの原因はGPUの数ではないことが少なくありません。詰まりの多くは、要求の振り分け方と、読み込みと生成の混ざり方で起きています。この記事では、2026年10月20日に1.0を公開した分散推論の基盤 llm-d を手がかりに、vLLM 単体で足りる規模と、この層まで要る規模の境目、そして社内で誰がそれを持つかを整理します。
カメ先生自社でLLMを動かして遅くなると、GPUが足りないからだと思われがちなんだ。でも本当は、同じGPUでも要求の配り方が悪いと、片方の機械に仕事が偏ったり、長い文書の読み込みが他の人の生成を止めたりする。だから台数より先に、どこで待たされているかを分けて見る必要があるんだよ。
カメ子GPUを増やす前に、詰まっている場所を確かめるということですか。
カメ先生そう。llm-d は、vLLM のような推論エンジンを何台も束ねて、要求の配り方と読み込み・生成の分担を賢くする層だ。ただし入れれば必ず速くなるものではないし、運用する人も前提の環境も増える。規模が小さいうちは、むしろ要らないことも多いんだ。
カメ子速くする道具というより、ある規模を超えたときに必要になる仕組み、という理解でいいでしょうか。
- 社内LLMの詰まりは、振り分け・読み込みと生成の干渉・用途の混在の三つに分けて原因を探す
- llm-d が効くのは、複数台の推論エンジンを束ねる規模と、長い入力が多い使い方。小規模なら vLLM 単体で足りる
- 導入の判断は性能の数字ではなく、Kubernetes を運用できる担い手、商用サポートの範囲、やめ方まで決めてから行う
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
llm-dとは:vLLM の上に載せる分散推論の層
llm-d は、大規模言語モデルの推論を複数の機械にまたがって本番運用するためのオープンソースの基盤です。公式の説明では、Kubernetes の上で vLLM などの推論エンジンを動かし、一台の機械で完結していた推論エンジンを、クラスター全体で動く本番向けの仕組みに変えるとしています。Red Hat・Google Cloud・IBM Research・CoreWeave・NVIDIA が創設し、現在は CNCF のサンドボックス(育成段階)のプロジェクトとして、Linux Foundation の枠組みのもとで Apache 2.0 の条件で公開されています。
位置づけを一言でいえば、vLLM が「一台でどう速く計算するか」を担い、llm-d は「何台もの vLLM にどう仕事を配るか」を担うという分担です。公式の構成説明は、機能を七つの領域に分けています。要求の入口で振り分けを決める仕組み、推論エンジン、読み込みと生成の分離、KVキャッシュ(計算途中の記憶)の管理、複数ノードにまたがるエンジンの束ね方、需要に応じた台数の増減、まとめて処理する非同期の推論です。
ここで押さえておきたいのは、llm-d 自体はモデルでも、推論エンジンでもないことです。モデルの精度や回答の質は、llm-d を入れても変わりません。変わるのは、同じモデル・同じGPUで、どれだけ多くの要求を、どれだけ待たせずにさばけるかです。したがって判断の主語は「AIの賢さ」ではなく、社内の利用者に約束する応答の速さと、そのための設備と人の費用になります。
2026年10月の1.0で何が変わったか
2026年10月20日に公開された1.0について、公式ブログは「これまでで最も重要なリリース」と位置づけ、主題を「二日目の運用」に置いています。一日目がモデルを速く動かすことだとすれば、二日目は、複数の部署や用途が相乗りする環境で、更新や予測できない負荷の中でも推論を動かし続けることだ、という整理です。具体的には、設定の書き方を版管理された安定した形に固定し、版の間で互換性を壊さない方針を示しました。
運用面では、要求の振り分けを決める部品に待機系を用意し、片方が止まっても入口が止まらないようにしました。要求に公平性の単位と優先度の帯を付けて並べ替える流量制御、混雑時に受け付けを絞る仕組みも入っています。ただし公式ブログは、利用者が明示的に有効にするまでは、従来どおり到着順に処理すると書いています。入れただけで優先度が効くわけではない点は、導入時の誤解になりやすいところです。
読み込み担当と生成担当を一つの単位として同時に更新する仕組みや、複数回のやり取りを同じ機械に寄せてキャッシュを再利用するエージェント向けの振り分けも加わりました。一方で、公式ブログが今後の課題として挙げているものもあります。1.0は「何でも揃った完成品」ではなく、「本番運用の土台が固まった版」と読むのが妥当です。
- 入口の振り分け部品を2つ同時に動かして負荷を分け合う構成は、まだ今後の課題とされている
- 処理中の要求を、障害時に別の機械へ移し替える仕組みも今後の課題とされている
- 公式ブログは、正式なサポートの水準や長期の保守期間については触れていない
よくある誤解:GPUを足せば詰まりは解ける
社内LLMが遅くなったとき、最初に出てくる対策はGPUの追加です。確かに処理能力が足りないなら台数は効きます。しかし、vLLM を何台か並べて、前に一般的な負荷分散を置いただけの構成では、台数を増やしても待ち時間が思ったほど縮まないことがあります。一般的な負荷分散は、要求を順番に配るか、空いていそうな機械に配るだけで、各機械が何を記憶しているかを知らないからです。
llm-d の公式資料に載っている数字は、この点を示しています。米国の自動車会社と Red Hat の事例では、AMD の MI300X を4基使った同じ環境で、順番に配る方式からキャッシュを考慮した振り分けに変えただけで、出力の処理量が3倍、最初の文字が返るまでの時間が半分になったと報告されています。Google は、Vertex AI の本番環境でキャッシュの再利用率が35%から70%に上がり、最初の文字が返るまでの時間が35%以上縮んだとしています。
ただし、これらはいずれも提供側や協力企業が自社の条件で測った数字です。自社の利用のされ方で同じ効果が出るとは限りません。共通の前置き(社内規程の長い指示文や同じ資料)を繰り返し使う使い方なら効きやすく、毎回まったく別の短い質問が来る使い方なら効きにくい、という性質を先に理解しておくと、見積りの議論を台数の話だけで終わらせずに済みます。
詰まる原因1:長い文書の読み込みが、他の人の生成を待たせる
LLMの推論は、入力を読み込む段階と、答えを一語ずつ生成する段階に分かれます。llm-d の公式資料は、読み込みは計算量で決まり、生成はメモリの読み書きの速さで決まると説明しています。性質の違う二つの仕事を同じGPUで混ぜて処理すると、誰かの長い文書の読み込みが入るたびに、他の人の生成が途中で止まるという干渉が起きます。利用者からは「返事が途中で固まる」「短い質問なのに遅い」と見えます。
社内向けの使い方では、この干渉が起きやすくなっています。契約書の確認、議事録の要約、社内規程を前置きに入れた問い合わせ対応、社内文書を検索して読ませる仕組みなど、入力が長く出力が短い使い方が増えているからです。llm-d の公式資料も、読み込みと生成を分ける構成が効くのは、入力が約1万トークンで出力が約千トークンのような長い入力の使い方で、両方が200トークン程度の短いやり取りではないと明記しています。
対策は、読み込み専用と生成専用の機械を分け、読み込みで作った計算途中の記憶を生成側に渡す構成です。llm-d はこれを一つの単位として扱い、振り分けも二段階で行います。ただし、この構成はノード間を結ぶ高速な専用の通信網を前提にしています。公式資料は、それが無い場合は通常の通信に切り替わるが効率が悪く、試験や開発用にとどめるべきだとしています。既存のデータセンターの網でそのまま動かせるかは、最初に確かめる項目です。
詰まる原因2:同じ前置きを、機械ごとに毎回計算し直している
推論エンジンは、一度読み込んだ入力の計算結果をキャッシュとして持ち、同じ前置きで始まる要求が来れば計算を省けます。社内LLMは、全社共通の指示文や、部署ごとの決まった資料を前置きにすることが多いので、本来はこのキャッシュがよく効くはずです。ところが、振り分けがキャッシュの中身を知らないと、同じ前置きの要求が毎回別の機械に送られ、そのたびに計算し直すことになります。
llm-d の振り分けは、各機械のキャッシュの状況と混み具合を見て、計算を省ける機械に要求を寄せます。複数回のやり取りが続く会話や、AIエージェントが同じ文脈を何度も読み返す使い方では、この効果が大きくなります。公式ブログでは、IBM Research が NVIDIA の H100 を544基使い、約3,000の開発支援エージェントを同時に動かし、キャッシュの再利用率が約98%に達したと紹介しています。
この原因は、GPUを足しても解決しません。台数が増えるほど、同じ前置きが別々の機械に散らばる確率が上がるからです。社内で確かめるべきは、利用の何割が共通の前置きを持つかです。全社の窓口が同じ指示文で動いているなら効果は大きく、部署ごとに全く違うモデルや使い方をしているなら、まず使い方を揃えるほうが先になります。
詰まる原因3:用途が混ざり、急ぎの要求が後ろに並ぶ
三つ目の原因は、性質の違う用途が同じ入口に混ざることです。社員が画面で待っている対話、夜間にまとめて流す文書の分類、AIエージェントが繰り返し投げる要求が、同じ順番待ちの列に並ぶと、急がない大量の処理が、急ぐ対話を押し出します。利用者が増えた会社で「特定の時間だけ遅い」という声が出るのは、たいていこの混在が原因です。
llm-d の1.0は、要求に公平性の単位と優先度の帯を付けて並べ、混雑時には優先度の低い要求から受け付けを絞る仕組みを持っています。まとめて流す処理は、別の入口から受けて、空いている時間に流す仕組みもあります。ただし、何を優先するかは基盤が決めてくれるわけではありません。どの部署のどの用途を優先し、何を後回しにするかは、AIでも基盤でもなく社内で決める必要があります。
ここを決めずに優先度の仕組みだけを有効にすると、設定した担当者の判断がそのまま社内の優先順位になってしまいます。経営会議の資料作りと顧客対応のどちらを先に通すかは、技術の問題ではなく業務の判断です。優先度の帯と、そこに入れる用途の一覧は、利用部門の責任者が承認する形にしておくと、後で「なぜ自分の部署が遅いのか」と問われたときに説明できます。
vLLM 単体で足りる規模と、llm-d まで要る規模の目安
では、どこからこの層が必要になるのでしょうか。公式資料が明確に示しているのは、読み込みと生成を分ける構成が向く条件です。中〜大型のモデル、長い入力、専門家を切り替える構造(混合専門家型)のモデルの三つで、すべての使い方に向くわけではないと書かれています。キャッシュを考慮した振り分けは、推論エンジンを2台以上並べた時点で意味を持ちます。これらを踏まえた目安を表にまとめます。
| 状況 | 推論エンジンの台数 | 主な詰まり | 向く構成 |
|---|---|---|---|
| 部署単位の試行・利用者が数十人 | 1台(GPU数基) | ほとんど起きない | vLLM 単体。llm-d は不要 |
| 全社展開・同じ前置きが多い | 2台以上を並べる | 前置きの計算のやり直し | vLLM を複数台+キャッシュを考慮した振り分け |
| 長い文書の読み込みが多い | 数台〜十数台 | 読み込みと生成の干渉 | 読み込みと生成の分離(高速な通信網が前提) |
| 大型の混合専門家型モデル | 複数ノードにまたがる | メモリ不足と通信 | 広い専門家並列。運用の難度が最も高い |
| 部署や用途が相乗り | 台数を問わない | 急ぎの要求が埋もれる | 優先度と公平性の流量制御 |
公式の入門手順は、比較的大きなモデルを2つ並べ、キャッシュと混み具合を見た振り分けを付ける構成から始めています。読み込みと生成を分ける手引きの最小構成はGPU5基で、入力約5千トークン・出力約250トークンの使い方の例では、読み込み担当8つと生成担当2つで、GPU16基という構成が示されています。つまり分離まで踏み込むのは、GPUを十数基以上まとめて扱う規模の話だと考えておくと、議論の出発点がずれません。
分散させると得られるもの、増えるもの
llm-d を入れて得られるのは、同じ設備での処理量の増加、待ち時間のばらつきの縮小、用途ごとの優先度の制御、無停止での更新です。一方で増えるものもはっきりしています。整理すると次のようになります。
- 同じGPUで処理できる要求が増え、台数の追加を先送りできることがある
- 共通の前置きや会話の文脈を使い回し、最初の応答が返るまでの時間を縮められる
- 急ぐ対話と夜間の大量処理を分け、利用部門ごとに約束を変えられる
- 読み込み担当と生成担当をまとめて更新し、モデルの入れ替えで止めずに済む
- Kubernetes と、その上の拡張部品を運用できる担い手が必要になる
- 部品が増え、障害が起きたときの切り分けが推論エンジン単体より難しくなる
- 分離構成では高速な通信網と、構成に合わせたGPUの台数・種類が要る
- 設定の調整(読み込みと生成の比率など)を利用の変化に合わせて見直し続ける手間が生じる
この表と箇条書きから分かるのは、llm-d は設備の効率を人の運用で買う仕組みだということです。GPUの費用が月々の大きな支出になっている会社なら、運用の手間を払ってでも効率を上げる価値があります。逆に、GPUの台数が少ないうちは、増える運用の重さのほうが勝ちます。費用の比較は、設備費だけでなく、この層を見る人の工数を入れて行う必要があります。
前提になる環境:Kubernetes・通信網・GPUの種類
llm-d は Kubernetes の上で動くことを前提にしています。入門手順の段階から、Kubernetes の拡張定義を入れ、専用の名前空間を作り、Helm で振り分けの部品を入れるところから始まります。社内に Kubernetes を本番で運用している部門が無い会社には、最初の一歩が重い基盤です。仮想マシンに vLLM を直接入れて動かしている会社が、推論のためだけに Kubernetes を新たに持つのは、それ自体が大きな判断になります。
GPUの種類も確かめます。公式の1.0の発表は、NVIDIA の H100・H200・B200 などに加え、AMD、Google の TPU、Intel の製品にも対応を広げたとしています。ただし、対応の度合いは機能ごとに違います。同じ会社のGPUでも世代を混ぜた構成は、商用サポートでは振り分けの機能に限って認められている例もあり、手持ちの機材をそのまま束ねられるとは限りません。
通信網については、読み込みと生成を分ける構成で述べたとおり、ノード間の高速な専用網が前提です。既存のデータセンターでこれを用意していない場合、分離構成のためだけに網を入れ替えるのは費用も工期もかかります。まずは振り分けだけを使う構成から始め、分離は網とGPUの条件が揃ってから検討するという順番が、多くの会社にとって現実的です。
社内の誰がこの層を持つか
分散推論の基盤は、AI導入担当と基盤の運用担当のちょうど境目にあります。AI導入担当はモデルや使い方を決め、基盤担当はサーバーと網を見ています。llm-d は両方にまたがるため、どちらの担当でもない状態で入れると、障害時に誰も全体を説明できなくなります。導入前に、少なくとも次の役割に名前を入れておきます。
| 役割 | 持つもの | 置く部門の例 |
|---|---|---|
| 基盤の責任者 | Kubernetes とGPU・網の構成、障害時の一次対応 | 情シスの基盤担当 |
| 推論の運用者 | 振り分けや優先度の設定、推論エンジンとモデルの版の更新 | AI導入担当または基盤担当 |
| 約束の決定者 | 応答の速さの目標と優先度の順位、停止時の告知 | 利用部門の責任者とAI推進の責任者 |
| 費用の管理者 | GPUの使用率と台数の見直し、外部APIとの比較 | 情シスの予算担当または経営企画 |
小さな会社では、これらが一人に集まることもあります。その場合でも、約束の決定者だけは運用者と別の人にすることを勧めます。運用者が自分で目標を決めると、達成しやすい目標に寄りやすいからです。夜間や休日に詰まったとき、誰が呼ばれ、誰が利用者に告知するかも、導入前に決めておくべき項目です。オープンソースの共同体には、利用者の相談の場はあっても、こちらの障害に駆けつける窓口はありません。
商用サポートを付けるか:Red Hat の対応範囲を確かめる
社内で Kubernetes と推論の両方を見られる人がいない場合、商用サポートを付けることが現実的な選択肢になります。Red Hat は自社のAI基盤製品の中で、llm-d を使った分散推論を提供しています。ただし、サポートの範囲は機能ごとに違います。Red Hat の公開しているサポート表では、2026年8月の3.5版で、振り分けの機能とKVキャッシュのメモリへの退避は一般提供、読み込みと生成の分離は技術プレビュー、広い専門家並列は開発者プレビューで本番には推奨しない、とされています。
つまり、商用サポートを付けても、最先端の構成ほどサポートの対象外か、例外扱いになるということです。公式のオープンソース版の発表で紹介されている大きな成果の数字は、多くが分離や専門家並列を使った構成で出たものです。サポートの付いた範囲で使える機能と、発表の数字を出した構成を、取り違えないようにします。
もう一つ確かめておきたいのが、外部に接続できない環境での動き方です。同じサポート表では、キャッシュの状況を厳密に追う方式の一部が、版によってはモデル配布サイトへの接続を必要とし、外部と切り離した環境では既定のままでは向かないと注記されています。閉じた網で動かすことを前提にしている会社は、使う機能ごとに接続の要否を確かめる必要があります。
データの流れ:社外に出るもの、出ないもの
自社でオープンモデルを動かす動機の多くは、社内のデータを外部のAIの提供元に渡したくないことです。llm-d は推論を自社の環境の中で振り分ける仕組みなので、利用者の入力と回答そのものが llm-d によって外部に送られることはありません。この点では、外部のAPIを使う構成とは性質が違います。ただし、社外とのやり取りがまったく無いわけではありません。
- モデルの重みをどこから取得するか(公式の入門手順は Hugging Face のアクセス用の鍵を使う)
- 厳密なキャッシュ追跡などの機能が、外部の配布サイトへの接続を必要としないか
- 監視や性能の記録を外部の監視サービスに送っていないか
- 障害の相談で、設定や記録を共同体の場や商用サポートに渡すとき、利用者の入力が含まれていないか
- KVキャッシュをメモリやディスクに退避する場合、その保存先の権限と消去の扱いを決めているか
最後の項目は見落とされがちです。キャッシュを計算機のメモリやディスクに退避する構成では、利用者の入力から作られた計算途中の記憶が、GPUの外に一時的に置かれることになります。人が読める形ではないとしても、社内の情報の扱いの規程でどう位置づけるかは、情報管理の担当と相談しておきます。
性能の測り方と、社内への約束
基盤を入れるかどうかを決める前に、今の状態を測ります。見るべき数字は、最初の文字が返るまでの時間、一語ずつ出てくる間隔、時間あたりに処理できた要求の数、それにGPUの使用率です。llm-d の公式資料も、待ち時間の目標に対する余裕を見て台数を増減する仕組みを用意しています。つまり基盤は目標を守る道具であって、目標そのものは社内で決めるものです。
社内への約束は、平均ではなく「遅いほうの何割か」で決めるのが基本です。平均が速くても、一部の利用者が毎朝待たされていれば不満は消えません。たとえば「対話の用途では、最初の文字が数秒以内に返る要求を九割以上にする」のように、用途ごとに約束を分けます。夜間の大量処理には、速さではなく翌朝までに終わることを約束するといった分け方をすると、優先度の設計とつながります。
測定の注意点が一つあります。提供側や協力企業が公表している数字は、特定のモデル・GPU・入力の長さで測ったものです。自社の実際の利用記録から入力の長さと前置きの重なり方を取り出し、それを再現した負荷で比べるのでなければ、導入効果の見積りにはなりません。測定の設計をAIに手伝わせることはできますが、どの数字を約束にするかの判断はAIに渡さず、利用部門と決めます。
やめ方:外部のAPIに戻す判断を先に決めておく
分散推論の基盤は、入れると戻しにくい層です。だからこそ、導入の前にやめる条件を決めておきます。llm-d は利用者から見ると、OpenAI 互換の窓口の手前にある振り分けの層なので、利用者側の仕組みを大きく変えずに、裏側を vLLM 単体や外部のAPIに切り替えることは比較的やりやすい構造です。難しいのは技術よりも、設備と人の手当てをどう畳むかです。
GPUの使用率が一定期間低いまま、運用の工数が想定を超えた、外部のAPIの費用が自社運用を下回った、といった条件を導入時に書いておきます。条件を後から作ると、続ける理由ばかりが集まります。
外部に出せないデータが主な理由で自社運用を選んだ場合は、その前提が今も有効かを確かめます。外部の提供元の契約や、国内でデータを処理する選択肢が変わっていることもあります。
まず分離や専門家並列をやめて振り分けだけの構成に戻し、次に vLLM 単体、必要なら外部のAPIへ、と一段ずつ下げます。利用者への約束も段階ごとに見直して告知します。
GPUを他の用途(学習や検証)に回すのか、契約を終えるのかを決めます。専用クラウドの場合は、最低利用期間の確認が必要です。
隣接する記事では、AI基盤を借りるか自前で持つかの一般的な条件を扱っています。この記事の観点で付け加えるなら、自前で持つと決めたあとにも、どの層まで自分で持つかの選択があるということです。推論エンジンだけを持ち、振り分けは持たないという選び方も、十分に合理的な答えです。
よくある質問
llm-d を入れればモデルの回答の質も上がりますか
上がりません。llm-d は要求の配り方と計算の分担を変える層で、モデルそのものは変えません。回答の質を上げたいなら、モデルの選定や前置きの指示、社内文書の検索の仕組みを見直す必要があります。回答の誤りを人が確かめる範囲も、基盤を変えても同じです。
vLLM を1台で動かしているだけですが、今から入れておくべきですか
急ぐ必要はありません。推論エンジンが1台なら、振り分けの効果はほとんどありません。利用者が増えて2台目を検討する段階で、前置きの重なり方と用途の混在を測り、そのうえで判断すれば十分です。vLLM 自体の安全上の更新を追い続けることのほうが、先に必要な仕事です。
Kubernetes を持っていない会社でも使えますか
前提が Kubernetes なので、持っていない場合は新たに運用する体制が必要になります。推論のためだけに Kubernetes を持つ負担が大きいなら、商用サポートの付いた製品として導入するか、外部の推論サービスを使うほうが現実的です。担い手がいないまま入れると、障害時に誰も直せない仕組みになります。
オープンソースなので費用はかからないと考えてよいですか
利用料はかかりませんが、GPUと通信網の設備費、運用する人の工数、必要なら商用サポートの費用がかかります。分離構成では、構成に合わせたGPUの台数と種類も必要です。費用の比較は、この三つを合わせて外部のAPIの費用と比べます。
AIに設定の調整を任せられますか
設定案の作成や負荷試験の結果の整理は手伝わせられます。ただし、優先度の順位や社内への約束、読み込みと生成の比率の変更は、根拠となる測定結果を添えて人が承認します。AIに判断させず、変更の根拠を書かせて、人が確定するという線を守ります。
まとめ
社内LLMが詰まったとき、GPUを足す前に、振り分けがキャッシュを知らないこと、長い読み込みが生成を止めていること、用途が混ざって急ぎの要求が埋もれていることの三つを分けて確かめます。2026年10月に1.0を公開した llm-d は、これらを vLLM の上で解く分散推論の基盤ですが、効くのは推論エンジンを複数台束ねる規模からで、読み込みと生成の分離は十数基以上のGPUと高速な通信網が揃ってからの話です。導入の判断では、性能の数字よりも先に、Kubernetes を運用できる担い手、商用サポートが付く機能の範囲、データの流れ、社内への約束、やめる条件を決めておきます。どの層まで自分で持つかを選び、優先度や約束は人が決め、AIには根拠を書かせる——この順番を守れば、規模に合わない基盤を抱え込まずに済みます。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
