KAITOで社内LLMをAKSに置く方法|持ち込みモデルの責任

KAITOで社内LLMをAKSに置く方法|持ち込みモデルの責任

「社内の文書を外部のAPIに送るのは避けたい。自前でLLMを動かせないか」「Azure を使っているなら、AKS にアドオンを一つ足すだけで済むと聞いた」——Azure を標準のクラウドにしている会社の情シスやAI導入担当から、2026年に入って増えている相談です。Microsoft 発のオープンソース KAITO は、2026年10月24日に v0.13.0 を公開し、自社で用意したモデルの重みの持ち込みと、RAGの出力を検査する仕組みの自前化を進めました。置く作業は確かに軽くなっています。ただし、軽くなったのは「置く」作業であって、置いたモデルに対する責任はすべて自社に残ります。この記事では、KAITO を使って公開モデルを AKS に置くか、マネージドのAPIで済ますかを、三つの場面に沿って、ライセンス、出力の検査、GPUの費用、版上げ、やめ方の線で整理します。


カメ先生カメ先生

自前でLLMを動かすと聞くと、難しい作業はGPUの準備とモデルの配置だと思われがちなんだ。KAITO はまさにそこを自動にする道具なんだよ。


カメ子カメ子

それなら、置いてしまえば後はAPIを使うのと変わらない、ということですか。


カメ先生カメ先生

そこが違う。APIなら提供元が持ってくれる、モデルの許諾の確認、出力の検査、版上げ、使っていないGPUの片付けが、全部こちらの仕事に戻ってくるんだ。


カメ子カメ子

置く手間が減るぶん、置いた後の持ち主が誰なのかを先に決める必要があるんですね。


この記事のポイント
  • KAITO は公開モデルの配置とGPUノードの用意を自動にするOSS。AKS ではマネージドなアドオンとしても使えるが、アドオンは上流より通常1版遅れる
  • 2026年10月の v0.13.0 で自社の重みの持ち込みとRAG出力の検査を強化した。ただし検査は出力のみで、監査記録の保存は未対応と公式に書かれている
  • モデルの許諾の確認、検査の規則、GPUの片付け、版上げの読み込みは自社の仕事。持ち主を決められない用途はマネージドのAPIに残す

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

目次

KAITOとは:公開モデルをAKSに置く作業を自動にするOSS

KAITO は、名前のとおり Kubernetes 上でAIを動かす道具一式を操作する部品の略称で、Kubernetes の上で公開モデルの推論、追加学習、RAGの仕組みを配置する作業を自動にするオープンソースです。最初の版は2023年11月15日に出ており、ライセンスは Apache 2.0 です。2024年10月17日には、クラウドネイティブ技術の財団である CNCF に、初期段階の案件を受け入れる Sandbox の枠で加わりました。開発の中心は今も Microsoft の技術者で、README の連絡先も Microsoft のアドレスになっています。

使う側が書くのは、基本的に「どのGPUの機種で、どのモデルを動かすか」だけです。KAITO の制御部品は、モデルの大きさとGPUの機種からGPUメモリの必要量を見積もり、必要な台数を計算し、ノードを自動で用意する仕組みに台数を伝え、推論エンジン vLLM の設定を組み立てます。出来上がった推論の窓口は OpenAI の形式と互換のAPIで呼び出せるので、社内のアプリから見ると、外部のAPIを社内の住所に差し替えたように扱えます。

RAGについては、文書の索引付け、検索、検索結果を添えた回答をまとめて配置する部品も用意されています。既定ではメモリ上のベクトル検索を使い、指定すれば永続型のデータベースにも切り替えられます。モデルを置くこと、RAGを組むこと、GPUを用意することを一つの道具でまとめられるのが KAITO の特徴です。

2026年10月の v0.13.0 で何が変わったか

2026年10月24日に公開された v0.13.0 の要点は四つです。第一に、オブジェクトストレージに置いた自社のモデルの重みを、カタログに無いモデルとして配置できるようになりました。追加学習した自社版のモデルを持ち込む道が、公式の手順として整ったことになります。第二に、推論の高速化として、小さなモデルで先読みする投機的な生成の切り替えや、利用が無いときに台数を0まで減らす際の待ち行列の制御が加わりました。

第三に、RAGの出力を検査する仕組みが、外部の検査ライブラリから自前の検査器に置き換わりました。秘密情報の検出も強化され、同じ検査部品は、ほかの仕組みからも使える共通部品として切り出され、2026年10月27日に v0.1.0、翌28日に v0.1.1 が公開されています。第四に、GPUノードの用意に失敗したときの理由が、状態の画面に出るようになりました。

同じ版には、運用している会社にとって重い破壊的な変更も入っています。モデルの写しを置く仕組みが名前空間ごとの管理に変わり、移行の際にキャッシュした重みが消えます。古いモデルの定義は削除または差し替えになり、資源の名前の長さにも上限が付きました。8月22日の v0.12.0 では、分散推論の層 llm-d の振り分け部品への移行も行われています。機能の追加と同じ頻度で、手元の設定の書き換えが求められる道具だと考えておく必要があります。

出発点:自前で動かすか、マネージドのAPIで済ますか

Microsoft の公式文書は、自前でLLMを動かす動機として三つを挙げています。トークン単位の従量課金が膨らむのを避けたい、モデルを追加学習して自社向けにしたい、金融・医療・防衛のような規制の厳しい業種でデータを第三者の仕組みに出したくない、の三つです。逆に言えば、この三つのどれにも当てはまらない用途は、マネージドのAPIのほうが手間は小さく済みます。

比べるときの軸は、性能より先に、誰が何を持つかです。マネージドのAPIでは、モデルの選定と許諾の整理、安全対策、版の更新、GPUの手配は提供元の仕事です。KAITO で自前にすると、配置の作業は自動になっても、その判断と責任は自社に戻ってきます。次の表は、その違いを並べたものです。

観点マネージドのAPIを使うKAITO で自前(AKS アドオン)KAITO で自前(OSSを自分で導入)
データの流れ提供元の基盤に送る自社の Azure 契約の中に収まる自社の基盤の中に収まる
モデルの許諾提供元が整理した条件を読むモデルごとに自社で読むモデルごとに自社で読む
出力の検査提供元の安全対策に加えて自社で自社で規則を書く自社で規則を書く
版の追随提供元が更新上流より通常1版遅れて届く最新を取り込めるが、移行作業も自社
費用の形使った量に比例GPUの稼働時間に比例GPUの稼働時間と運用の人手

この表をもとに、よく相談される三つの場面に当てはめて考えます。場面ごとに、KAITO が向くかどうかの答えは変わります。

場面1:社内規程を検索するRAGを、外に出さずに動かす

一つめは、就業規則や品質の手順書など、社外に出したくない文書を検索して答えるRAGを作りたい場面です。KAITO のRAGの部品は、文書の索引付けと検索、検索結果を添えた回答の生成をまとめて配置でき、文書もモデルも自社の Azure 契約の中に置けるのが利点です。Microsoft の文書も、AKS 上に置けばデータは組織の管理下に留まると説明しています。

ただし、外に出さないことと、社内で誰でも見てよいことは別の問題です。RAGに入れた文書の閲覧権限は、検索の段階で自動に引き継がれるわけではありません。人事の規程と全社の規程を同じ索引に入れれば、本来は見られない人にも回答の形で内容が届きます。索引を部門や機密区分で分ける、呼び出し元ごとに検索できる索引を絞る、といった設計は自社で行います。

この場面で KAITO が向くのは、文書の量が多く、問い合わせが毎日一定数あり、外部のAPIに文書の断片を送ること自体が社内規程で認められていない会社です。問い合わせが月に数十件なら、GPUを動かし続ける費用のほうが高くつくことが多く、まずは外部に送らない別の手段、たとえば社内の検索の改善から考えるほうが現実的です。

場面2:自社で追加学習したモデルの重みを持ち込む

二つめは、自社の用語や文書の書き方を覚えさせたモデルを動かしたい場面です。KAITO には少数のパラメーターだけを調整する追加学習の仕組みがあり、学習データと出力先を指定すると、学習の処理を Kubernetes の上で走らせます。v0.13.0 からは、オブジェクトストレージに置いた完成済みの重みを、カタログに無いモデルとして配置する公式の手順も加わりました。

さらに、重みをあらかじめGPUノードのディスクに置いておき、起動時のダウンロードを省く方法も文書化されています。公式文書は、これを外部のモデル置き場に届かない閉じたクラスターでも使えると説明しています。ここで大事なのは、KAITO は置かれた重みを読み込むだけで、その中身を保証しないことです。重みが本当に自社が学習したものか、途中で差し替えられていないかは、置く側が確かめます。

v0.13.0 の開発の途中では、持ち込みモデルの設定ファイルを正規化した要約値で照合する修正も入っています。こうした照合は役に立ちますが、照合の基準になる値を誰がどこで記録するかは、自社の手順で決めることです。学習を行った人、重みを置く人、本番に出すことを承認する人を分けると、取り違えや持ち出しに気づきやすくなります。

場面3:部門ごとの生成AIの利用を、APIから切り替えたい

三つめは、部門ごとに外部のAPIで使っている生成AIの費用が膨らみ、自前に切り替えれば安くなるのではないか、という場面です。Microsoft の文書も、トークン単位の課金が膨らむことを自前化の動機に挙げています。ただし、自前のGPUは使っていない時間にも費用がかかるので、利用が日中に偏る社内用途では、思ったほど安くならないことがあります。

KAITO には、要求の量に合わせて推論の台数を増減させる仕組みがあり、v0.13.0 では利用が無いときに0台まで減らす際の待ち行列の制御も入りました。0台からの立ち上がりには時間がかかり、Microsoft の文書は、GPUノードの準備に最大10分、推論の準備に最大20分ほどかかる場合があるとしています。朝一番の問い合わせを待たせてよいかどうかを、部門と先に決めておく必要があります。

切り替えを判断するときは、外部APIの月ごとの請求額と、同じ量を処理するのに必要なGPUの稼働時間を、実際の利用記録で並べます。部門ごとの利用が少ないなら、全社で一つの推論の窓口を共有して稼働率を上げるほうが効きます。外部APIの請求額には、提供元が持っていた安全対策や版の更新の手間も含まれていたことを忘れず、自前側の比較には運用の人手も足します。共有するなら、部門ごとの利用量を記録して配賦する仕組みも同時に要ります。

マネージドアドオンで済む範囲、OSSを自分で運用する範囲

AKS では、KAITO をマネージドなアドオンとして有効にできます。クラスターの作成時か更新時に指定するだけで、制御部品の導入を Azure 側が受け持ちます。一方で、公式文書にはアドオンは上流の KAITO より通常1版遅れると明記されています。2026年10月の v0.13.0 で入った持ち込み重みの手順や新しい検査器は、アドオンでは一つ後の更新まで待つことになると考えておくべきです。

制約も公式文書に並んでいます。ウィンドウズのノードは使えない、AMD のGPUは指定できない、NVIDIA のGPUでも計算能力の世代が8.0以上、つまり公式文書が例に挙げる T4 や V100 のような古い機種は対象外、提供は公開の Azure リージョンに限られる、クラスターの停止と再開は一部の状況で失敗の原因になる、などです。政府向けなど特別なリージョンを使う会社は、ここで候補から外れます。

OSSを Helm などで自分で入れれば、最新の版をすぐに取り込めますし、GPUノードを自動で用意する仕組みも自分で選べます。その代わり、版上げのたびの移行作業、ノード自動用意の部品の権限設定、障害時の切り分けはすべて自社の仕事です。最新の機能が要る理由がはっきりしない限り、アドオンから始めるのが無理のない順番です。

持ち込むモデルのライセンスを、誰が読むか

KAITO の公式文書には、検証済みの設定が用意されたモデルの一覧があり、モデルごとにライセンスの欄があります。Apache 2.0 や MIT のものもあれば、NVIDIA の独自の許諾、MIT を改変した許諾、提供元ごとの独自の許諾のものも並んでいます。KAITO 自体が Apache 2.0 でも、その上で動かすモデルの条件は一つずつ違います。

さらに、利用者が許諾に同意しないと重みを取得できない種類のモデルもあり、その場合は Hugging Face で許諾に同意したうえで、取得用の鍵をクラスターに登録します。この同意は個人のアカウントで行われがちですが、同意した人の立場と、会社としての利用の範囲が一致しているかは別に確かめる必要があります。同意の操作を技術担当に任せきりにせず、法務か調達が条件を読んでから鍵を登録する順番にします。

確かめる項目は、商用利用の可否、利用者数や売上による制限の有無、出力を別のモデルの学習に使うことの制限、改変版を配る場合の条件、の四つが基本です。自社で追加学習した重みを持ち込む場合は、元のモデルの条件が追加学習後の重みにも及ぶ前提で読みます。

持ち込み重みの責任:出所、差し替え、版の記録

カタログのモデルを使う場合、重みは提供元の公開置き場から取得されます。持ち込みの場合は、重みの出所を説明できるのは自社だけです。監査や取引先から「このモデルは何をもとに、誰が作ったのか」と聞かれたときに、元のモデルの名前と版、追加学習に使ったデータ、学習の実施日と担当者を答えられるようにしておきます。

差し替えへの備えも要ります。オブジェクトストレージやノードのディスクに置いた重みは、書き込み権限を持つ人なら入れ替えられます。重みを置く場所への書き込み権限を学習の担当だけに絞り、本番の推論からは読み取りだけにすることで、誤って別の版を本番に出す事故を減らせます。KAITO の公式文書も、ノードに置いた重みは読み取り専用で推論の容器に渡すと説明しています。

版の記録は、外部のAPIを使っていたときには意識しなかった仕事です。どの版の重みを、どの KAITO の版で、どの設定で動かしているかを一か所に残しておかないと、回答の品質が落ちたときに、モデルの変化なのか、推論エンジンの更新なのかを切り分けられません。

ガードレールを誰が持つか:検査は機械、判断は人

v0.13.0 で強化されたRAGの検査は、モデルの回答を利用者に返す前に調べ、該当箇所を伏せるか、回答全体を差し止めます。既定の規則は、秘密鍵の書き出し、主要なクラウドやコード置き場の認証情報の形、電子メールの住所、電話番号、クレジットカード番号らしい数字、IPv4 の住所などを対象にしています。公式文書は、これを「基本的な保護であって、内容の安全対策として完全なものではない」と書いています。

限界も公式文書に明記されています。検査の対象はRAGが返す回答だけで、利用者の入力は対象に含まれていません。検査の結果を監査の記録として保存する機能も、現時点では未対応です。さらに、規則の書き方を誤った検査器は、エラーで止まらずに飛ばされる設計になっています。つまり、規則の書き間違いで検査が働いていなくても、気づかないまま動き続けるおそれがあります。

  • 既定の規則を有効にしただけで、社内の機密や個人情報の対策が済んだと考える
  • 規則を書き換えた後に、引っかかるはずの文で実際に差し止められるかを試さない
  • 伏せられた回答や差し止めの件数を誰も見ず、検査が働いているかを確かめない
  • 「この回答を出してよいか」の最終判断を、検査器やモデルに任せる

日本の会社の場合、社員番号、取引先コード、社内の案件名など、自社に固有の伏せたい項目は既定の規則に入っていません。伏せる項目の一覧は情報管理の担当が決め、検査器の規則は技術担当が書き、引っかかるはずの試験文で月に一度は動作を確かめる、という分担にします。伏せる項目を増やしすぎると、業務に必要な回答まで欠けて使われなくなるので、差し止めの件数と利用者からの苦情を並べて見直します。検査器は機械的に文字列を探すだけで、回答の内容が正しいか、出してよい相手かは判断しません。そこは、回答に根拠の文書を必ず添えさせ、人が根拠をたどれる形にしておくことで補います。

GPUノードの自動用意と、費用の増え方

KAITO の便利さの中心は、GPUノードを必要なときに自動で用意する点です。裏返すと、設定ひとつで高価なGPUの機械が立ち上がるということでもあります。費用の上限を Azure の予算の通知で管理し、GPUの割り当て枠を必要な分だけ申請しておくことが、最初の歯止めになります。公式文書も、GPUの割り当て枠が足りないと推論の準備が終わらないとしています。

v0.13.0 では、新しく作られるGPUの機械は既定で通常料金の枠になり、安いが途中で回収されうるスポットの枠は、作成時に明示した場合だけ使われるようになりました。また、資源の名前が長すぎると機械のまとまりの名前が変わり、GPUの機械が二重に立ち上がったり、持ち主のいない機械が残ったりするおそれがあると、版の告知で注意されています。

片付けも自動ではありません。Microsoft の手順では、推論の定義を消した後、KAITO が用意したGPUのノードのまとまりを手で削除するよう求めています。クラスターごと停止して費用を止める方法も、KAITO が動いているクラスターでは失敗の原因になるため、公式文書は台数を0に減らす方法を勧めています。「使い終わったらGPUが消えているか」を週に一度確かめる担当を決めておきます。

版上げを誰が読むか:破壊的な変更とSandboxの意味

KAITO の版は、2026年だけでも8月の v0.12.0、10月の v0.13.0 と、数か月ごとに出ています。版の告知には毎回のように破壊的な変更の欄があり、v0.13.0 では移行の際にキャッシュした重みが消える変更や、古いモデルの定義の削除が含まれていました。版の告知を読んで、自社の設定に影響があるかを判断する人がいないと、更新のたびに推論が止まります。

CNCF の Sandbox は、財団が初期段階の案件を受け入れる枠です。財団に入ったことで、特定の会社の都合だけで閉じられにくくなる一方、成熟度の評価を経た段階ではありません。開発の多くを Microsoft の技術者が担っている現状では、実際の継続性は Microsoft が AKS のアドオンとして提供し続けるかどうかに大きく依存すると見るのが現実的です。

アドオンとして使う場合でも、サポートの範囲は確認が要ります。Azure のサポート契約で問い合わせられるのはアドオンの動作までで、どのモデルを選ぶか、回答の品質が十分か、許諾の解釈は対象外と考えておくのが安全です。OSSとして自分で入れた場合の問い合わせ先は、基本的に開発者の集まりの公開の場になります。

社内LLMを動かし続けるための役割分担

ここまでの論点を、誰が持つかで整理し直します。KAITO を入れる会社でよく起きるのは、クラスターを作った基盤の担当に、モデルの許諾、出力の検査、費用の監視、利用部門からの問い合わせが全部集まってしまう形です。一人の担当に集めると、版上げの読み込みが後回しになり、検査の規則も更新されなくなります。

仕事持ち主の例頻度
モデルの許諾の確認と鍵の登録の承認法務・調達モデルを追加・更新するたび
重みの出所と版の記録AI導入の担当重みを置くたび
伏せる項目の一覧と検査の試験情報管理の担当月に一度と規則の変更時
版の告知の読み込みと更新作業基盤の担当版が出るたび
GPUの稼働と片付けの確認、費用の配賦基盤の担当と経理週に一度と月次
回答の品質の抜き取り確認利用部門の責任者月に一度

表の最後の行が抜けやすい点です。回答が業務に使える水準かどうかは、技術の担当には判断できません。利用部門の責任者が、根拠の文書と照らして回答を抜き取りで確かめ、品質が落ちたら基盤の担当に伝える流れを作っておきます。

導入前の確認項目

KAITO を試す前に、次の項目に答えられるかを確かめます。答えられない項目が多いうちは、マネージドのAPIを使い続けながら準備を進めるほうが安全です。

  • 自前化の理由が、データを外に出せない・追加学習が要る・従量課金が膨らむ、のどれかに当てはまる
  • 使うリージョンで計算能力8.0以上の NVIDIA のGPUが使え、割り当て枠を申請できる
  • 動かすモデルのライセンスを法務か調達が読み、商用利用と利用規模の条件を確認した
  • 持ち込む重みについて、元のモデル・学習データ・担当者・置いた日を記録する場所がある
  • RAGに入れる文書の閲覧権限と、索引の分け方を決めた
  • 伏せる項目の一覧と、検査が働いているかを試す試験文を用意した
  • GPUの予算の通知と、使い終わったノードを片付ける担当を決めた
  • 版の告知を読み、更新の可否を判断する担当を決めた
  • マネージドのAPIに戻すときの手順と、戻す判断の条件を書いた

項目の中でも、最後の「戻す判断の条件」は後回しにされがちです。次の節で、やめ方を先に決めておく理由を説明します。

  • Kubernetes の運用経験が社内に無い場合は、KAITO の前にクラスター自体の運用体制を整える必要があります。KAITO はGPUとモデルの配置を楽にしますが、クラスターの監視や更新は肩代わりしません。
  • 分散推論の規模の判断や、社内でモデルを置いて配る置き場の設計は、別の記事で扱っています。ここでは AKS 上で KAITO を使うかの判断に絞っています。

やめ方:APIに戻す道を先に残しておく

KAITO の推論の窓口は OpenAI の形式と互換のAPIなので、社内のアプリから見ると、外部のAPIとの切り替えは呼び出し先の住所とモデル名の変更で済む設計にできます。この性質を生かして、アプリはどちらの呼び出し先にも切り替えられる形で作り、切り替えの設定を一か所に置いておくのが、やめ方の基本です。

戻す判断の条件も、始める前に決めておきます。たとえば「GPUの月額が外部APIの見込み額を三か月続けて上回った」「版上げの作業が二回続けて期日までに終わらなかった」「回答の品質の抜き取りで不合格が続いた」などです。条件を数字で決めておかないと、投資した手間が惜しくなって、やめる判断が遅れます。

STEP1
呼び出し先を外部APIへ切り替える

アプリの設定を外部のAPIに向け、利用部門に切り替えの日時を知らせます。

STEP2
推論とRAGの定義を削除する

KAITO の推論とRAGの定義を消し、検索の索引に入れた文書の写しの扱いを決めます。

STEP3
GPUのノードを手で片付ける

公式の手順どおり、KAITO が用意したGPUのノードのまとまりを手で削除し、費用が止まったことを請求で確かめます。

STEP4
重みと記録を保管または廃棄する

持ち込んだ重みと版の記録を、規程に沿って保管するか廃棄し、モデルの許諾の終了時の条件も確認します。

やめ方まで決めて始めれば、KAITO は「自前で持つかどうか」を小さく試す道具として使えます。最初は一つの場面、一つのモデル、一つの部門に絞って試すのが、失敗したときに戻りやすい進め方です。

まとめ

KAITO は、公開モデルや自社で追加学習したモデルを AKS に置き、GPUノードの用意まで自動にするOSSです。2026年10月の v0.13.0 で重みの持ち込みとRAG出力の検査が強化され、自前で動かすための道具は揃ってきました。一方で、モデルの許諾、重みの出所、検査の規則、GPUの片付け、版上げの読み込みは、どれも自社の仕事として残ります。検査器は回答を出してよいかを判断せず、モデルの回答には根拠を添えさせ、人が確かめる範囲を先に決めることが前提です。データを外に出せない、追加学習が要る、従量課金が膨らむ、のいずれかがはっきりしている用途から一つ選び、アドオンで小さく試し、戻す条件を数字で決めてから始めてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

運営会社:株式会社デボノ

目次