Distil Labsか汎用AIか|定型業務を置き換える判断

「問い合わせの振り分けに毎月それなりのAI利用料を払っているが、やっていることは十種類ほどの分類だけ。もっと小さいAIで足りるのではないか」「顧客の名前や契約の中身を含む文面を、外部の大きなAIに送り続けてよいのかと法務に聞かれて、答えに詰まった」——社内のAI活用が一巡した情報システム部門やAI推進の担当者から、ここ半年で目に見えて増えた声です。Distil Labs は、こうした定型の仕事を、少ない例から作る業務専用の小型モデルに置き換えるための後学習の基盤です。ただ、小型モデルに替えれば安く速くなるというのは条件付きの話で、件数・仕事の形・データの扱い・作った後の手間がそろわなければ、汎用のAIのままのほうが安く確実です。この記事では、公式サイト・公式ドキュメント・公式ブログで確かめられる範囲で、汎用のAIを使い続けるか、Distil Labs で専用の小型モデルに置き換えるかを比べる材料、少量の例と合成データの検収、品質が落ちる範囲、作ったモデルの持ち主と置き場所、入れ替えを決める人、費用とやめ方を整理します。操作の手順や画面の説明は扱いません。
カメ先生小さいAIに置き換えると、何でも安く速くなると思われがちなんだ。でも実際に効くのは、分類や抽出のように答えの形が決まった狭い仕事で、しかも件数が多いときに限られる。
カメ子仕事の種類と量しだいでは、置き換えたほうがかえって高くつくこともある、ということですか。
カメ先生そう。専用のモデルには、作る費用と置いておく費用、それに検収と見張りの手間がかかる。汎用のAIをそのまま使うほうが合う仕事も多いから、比べる材料を先にそろえることが大事になるんだ。
カメ子作れるかどうかより、作る理由がそろっているかを先に見るんですね。
- Distil Labs は、課題の説明と少ない例から、大きな公開モデルに合成データを作らせて業務専用の小型モデルを後学習する基盤
- 置き換えが割に合うのは、答えの形が決まった仕事が大量にあり、社外に出しにくいデータを扱い、速さが要る場合に限られる
- 合成データと評価の結果は人が検収し、入れ替えと差し戻しを決める人、モデルの置き場所、やめ方を先に決めておく
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
Distil Labs とは:少ない例から業務専用の小型モデルを作る後学習の基盤
Distil Labs は、自社の業務に絞った小さな言語モデルを作るための基盤です。公式ドキュメントでは自らを、技術者が性能の高いモデルを作り、本番のデータで改善し続けるための後学習の基盤と説明しています。利用者が用意するのは、課題の説明と、料金ページの説明では最少で10件ほどの例です。そこから教師役の大きな公開モデルが試験用の問題に答えて基準の点数を出し、例を手がかりに学習用のデータを合成し、そのデータで小さな生徒役のモデルを追加学習する、という流れを基盤の側で回します。
始め方は二通り用意されています。一つは、すでに社内にある問いと答えの一覧から始める方法です。もう一つは、いま使っている汎用のAIへの呼び出しを Distil Labs の受け口に通し、要求と答えを記録しながら、その記録を学習の材料に変える方法で、公式ドキュメントではこちらを既定の始め方としています。操作は、コマンドラインの道具、Claude Code・Codex・Cursor などのコーディングエージェントに読み込ませる手引き、REST API、管理画面から行えます。つまり、使い手として想定されているのは業務部門ではなく、開発や機械学習の担当者です。業務部門は、何を任せるか、どの答えを正解とするかを決める側として関わることになります。
作った小型モデルは、Distil Labs が用意する専用の計算機で動かすか、学習した差分の重みを持ち帰って自社の環境で動かすか、企業向けの契約で自社のクラウドや外部から切り離した環境に置くかを選べます。同じ「小さいAI」でも、どこに置くかで社外に出るものと費用の形が大きく変わるので、後の節で分けて扱います。
2026年の動き:推論する小型モデルと、エージェントからの操作
2026年9月28日の公式ブログでは、小型モデルに短い推論の手順を書かせてから答えさせる学習を扱いました。題材は、発注書と突き合わせて請求書を支払うか保留にするかを決める課題と、乗り継ぎの時間が空港ごとの最低時間を満たすかを確かめる旅程の課題の二つで、生徒役は Qwen の40億パラメーターのモデルです。公表された結果では、推論を付けて学習したモデルは100問中、請求書で98問、旅程で95問を正解し、186倍と700倍の大きさの教師役モデル(97問と100問)にほぼ並びました。推論なしで学習したモデルは84問と45問でした。
同じ記事は、推論が効くのは入力から何段階かの計算や規則の確認を経て答えを出す仕事であり、分類・抽出・振り分けのような仕事には推論は要らず、遅く高くなるだけだとも書いています。社内で置き換えを考える仕事の多くはこちらに当たるので、推論の話は「複数の規則を順に確かめる審査のような仕事なら、小型でも届く可能性が出てきた」という範囲で受け取るのが妥当です。
ほかにも公式ブログには、コーディングエージェントに改善を繰り返させる使い方の手引き、合成データの混ぜ方を指定する機能、教育サービスのクイズ生成を NVIDIA の公開モデルを後学習したものに置き換えた事例などが並び、研究論文が機械学習の国際会議の小型モデルとエージェントのワークショップに採択されたことも報告されています。一方で、資金調達の規模は一次情報で確認できませんでした。会社の体力を見るときは、契約前に直接確かめる項目に入れておくのが安全です。
誤解:「小型モデルにすれば安くて速い」は条件付きの話
小型モデルへの置き換えでよく聞くのは、「大きいAIの何十分の一の費用で、何倍も速く動く」という話です。数字そのものは誤りではありませんが、前提には、仕事が狭く決まっていること、件数が多いこと、作った後も検収と見張りを続ける人がいることが置かれています。どれか一つが欠けると、汎用のAIのままのほうが安く、品質も安定します。
たとえば月に数百件しか来ない問い合わせの分類なら、汎用のAIの利用料は小さく、専用のモデルを作って置いておく費用のほうが上回ります。分類の種類が毎月のように増えたり減ったりする仕事なら、そのたびに例を集め直して学習し直す手間がかかります。反対に、毎日数万件が流れ、答えの形が決まっていて、文面に顧客の個人情報が含まれる仕事なら、置き換える理由がそろいます。
もう一つの誤解は、「小さいモデルは知識が少ないから、何でもできる大きいAIより劣る」という見方です。専用の小型モデルは、何でもできるAIの縮小版ではなく、一つの仕事だけを覚えた道具です。その仕事の範囲では大きいAIに並ぶこともありますが、範囲の外ではまったく役に立ちません。この性質を理解したうえで、比べる材料をそろえていきます。
比べる三つの選択肢:使い続ける・指示を磨く・置き換える
置き換えるかどうかの比較は、「汎用のAIか小型モデルか」の二択にしないほうが判断を誤りません。間に、汎用のAIのまま指示文や例の示し方を磨くという選択肢があり、多くの仕事はここで片付きます。三つを並べると次のようになります。
| 比べる軸 | 汎用のAIをそのまま使う | 汎用のAIの指示と例を磨く | Distil Labs で専用の小型モデルにする |
|---|---|---|---|
| 始めるまでの手間 | ほぼなし | 指示文と例を整える数日 | 例の準備、検収、学習、配備で数週間 |
| 件数が増えたときの費用 | 件数に比例して増える | 件数に比例して増える(指示が長いと割高) | 置き場所の時間課金が中心。件数が多いほど割安 |
| 社外に出るもの | 毎回の入力が提供元へ | 毎回の入力が提供元へ | 置き場所しだい。自社環境なら推論時は社外に出ない |
| 仕事の変化への強さ | 強い | 強い(指示を直せばよい) | 弱い(例を集め直して学習し直す) |
| 品質の安定 | 提供元の更新で変わることがある | 同左 | 版を固定すれば変わらない |
| 向く仕事 | 種類が多く件数の少ない仕事 | 形は決まっているが件数が中程度の仕事 | 形が決まり、大量で、社外に出しにくい仕事 |
表のとおり、専用の小型モデルの強みは「件数が増えても費用が増えにくい」「版を固定すれば答え方が変わらない」「置き場所によっては社外にデータを出さない」の三つに集約されます。逆に弱みは、始めるまでの手間と、仕事の変化への弱さです。まず二つ目の選択肢で指示と例を磨き、それでも費用・速さ・データの扱いのどれかが解けないときに三つ目を検討する、という順で考えると、無理な置き換えを避けられます。
判断材料1:件数と費用の分岐点を、自社の数字で出す
費用を比べるときは、Distil Labs の料金の形を正しく押さえる必要があります。公式の料金ページによると、配備先の推論は処理した量ではなく、専用の計算機を動かしている時間に対して課金される形で、100万トークンあたり約0.04ドルという目安は、計算機を休まず使い切った場合の換算です。件数が少なく計算機が空いている時間が長ければ、1件あたりの費用はこの目安よりずっと高くなります。
比較の手順としては、まず置き換えを考えている仕事について、直近数か月の件数、1件あたりの入力と出力の長さ、汎用のAIへの支払額を集めます。次に、業務時間だけ動かせばよいのか、夜間も含めて常に応答が要るのかを決め、小型モデルを置いておく時間を見積もります。そのうえで、月額の比較に、作る費用と検収の人件費、作り直しの頻度を足すと、分岐点が見えてきます。公式ブログの試算では、請求書の課題で学習済みの4Bモデルが1,000件あたり約0.028ドル、旅程の課題の教師役モデルは1,000件あたり2.36ドルで約80倍でしたが、これは計算機の時間単価と記事の中のトークン数から出した値で、自社の稼働率は反映されていません。
自社に置く場合は、計算機の調達や借り上げの費用、運用する人の手間が加わります。件数が月数万件に届かない仕事では、多くの場合、汎用のAIの利用料のほうが小さく収まります。費用だけで置き換えを決めるのではなく、次の節の速さとデータの扱いと合わせて判断するのが現実的です。
判断材料2:速さと、社外に出せないデータ
費用より置き換えの理由として強いのが、速さとデータの扱いです。電話の自動応答の振り分け、画面の入力に合わせた即時の候補表示、工場や店舗の端末での判定のように、一つひとつの応答に待ち時間をかけられない仕事では、小さいモデルの速さが決め手になります。公式ブログでも、推論なしで使える既製の推論型モデルは考えすぎて答えが長くなり、学習で推論の長さを短く抑えたモデルの中央値が約200〜270トークンだったと報告しています。
データの扱いでは、顧客の個人情報、取引の条件、社員の評価など、外部のAIに送り続けることに社内の合意が取れていない文面を扱う仕事が候補になります。料金ページによれば、企業向けの契約では自社のクラウド、閉域の環境、外部から切り離した環境に配備でき、その場合は「環境から何も出ない」と説明されています。ただし、これは推論の段階の話です。モデルを作る段階で、例や記録を Distil Labs の基盤に上げる必要がある点は別に検討します。この点は後の節で扱います。
速さもデータの扱いも、汎用のAIの側で解決できる場合があります。提供元の地域を選べる契約、学習に使わない設定、応答の速い軽量版のモデルなどです。置き換えの検討に入る前に、今使っている汎用のAIの契約と設定でどこまで解けるかを情報システム部門で確認しておくと、比較の土台がそろいます。
公表の数字の読み方:98問と95問は何を測ったか
公式ブログの結果は、小型モデルの可能性を示す材料として興味深いものですが、自社の判断材料にそのまま使うことはできません。試験は各課題100問で、答えの形式が完全に一致したかどうかで採点されています。学習には各課題4,000件を超える例が使われ、題材は請求書と旅程という、規則がはっきりした仕事でした。
つまり、規則がはっきりしていて、正解が一つに決まり、例を大量に作れる仕事での結果です。問い合わせの分類のように正解が人によって揺れる仕事、文書の要約のように答えが一つに決まらない仕事では、同じ水準が出るとは限りません。また、100問という件数では、1〜2問の差は誤差の範囲に入ります。記事自身も、点数にばらつきの幅を添えています。
もう一つ見ておきたいのは、学習前の4Bモデルに推論をさせると、請求書で63問、旅程で100問すべてが規定の長さの中で答えを出し切れなかったという結果です。小型モデルは学習しなければ使い物にならず、学習の出来は例とデータの質で決まるということで、ここが次の節の検収の話につながります。公表の数字は「どこまで届きうるか」の目安とし、自社の判断は自社の試験で行います。
少量の例と合成データの検収:人が見るのはどこか
Distil Labs の仕組みでは、利用者が用意する例は少なく、学習用のデータの大半は教師役のモデルが合成します。記録から始める場合も、教師役が記録を直して正解付きの例に作り替え、直せなかったものは捨てます。便利な半面、正解の基準を決めたのは人ではなく、教師役のモデルだったという状態が起きやすくなります。教師役が間違えて覚えた規則は、そのまま小型モデルに写ります。検収は次の順で行います。
学習用のデータより先に、試験用の問題と正解を業務の担当者が作ります。合成データから試験を作ると、教師役の癖を教師役の癖で採点することになります。迷う事例、例外、答えてはいけない事例を必ず混ぜます。
公式の手順でも、学習の前に教師役の大きいモデルに試験を解かせて点数を出します。教師役の点数が低い仕事は、小型モデルに移しても届きません。ここで仕事の切り方か正解の基準を見直します。
合成された学習用のデータから、ラベルごとに数十件ずつ抜き取り、業務の担当者が正解と照らします。偏ったラベル、現実には来ない文面、個人情報の混入をここで見つけます。
公式の結果表は、学習前の生徒、学習後の生徒、教師役の点数を並べて出します。人は合計点だけでなく、間違えた問題の中身を読み、業務上許せない間違いがないかを確かめます。
何点なら入れ替えるか、どの種類の間違いが一件でもあれば差し戻すかを、検収を担当した人の名前と一緒に記録します。次に作り直すときの基準になります。
採点の方法にも注意が要ります。公式の手引きでは、分類は答えの完全一致、そのほかの課題は別のAIに採点させる方法が主な物差しになっています。AIの採点は人の採点と一定数を突き合わせ、ずれが大きければ人の採点に切り替えるという線を先に決めておきます。
品質が落ちる範囲:狭い仕事にしか効かない
専用の小型モデルは、学習した範囲の中では強く、外では急に弱くなります。置き換えた後に問題になりやすいのは、点数の平均ではなく、範囲の外から来る入力です。次のような場面で品質が落ちると考えておきます。
- 学習の例になかった新しい種類の問い合わせが来たとき(無理に既存のどれかに振り分けてしまう)
- 文面が長い、複数の用件が混ざっている、前のやり取りを前提にしているとき
- 新商品名や新しい規程など、学習した後に生まれた言葉が入っているとき
- 合成データが標準的な言い回しに偏り、現場の略語や誤字だらけの文面に慣れていないとき
- 「分からない」と答えるべき場面で、もっともらしい答えを返してしまうとき
対策として、自信の低い答えや、どの分類にも当てはまりにくい入力は、汎用のAIか人に回す経路を最初から作っておきます。Distil Labs の受け口には、もともと汎用のAIに処理を任せる設定があるので、入れ替えた後も迷う入力だけを汎用のAIに戻す形にしておくと、品質の落ち込みを抑えられます。
また、小型モデルに判断そのものを任せない線も決めておきます。たとえば請求書の支払いの可否なら、モデルは「保留の理由がありそうか」を示すところまでにとどめ、支払いを止めるかどうかは経理の担当者が決める、という分担です。モデルには根拠となった項目を出力させ、人がその根拠を確かめられる形にすることで、間違いに気づける仕組みになります。
何が Distil Labs 側に送られるか:例・記録・課題の説明
モデルを作る段階では、課題の説明、試験用と学習用の例、設定ファイルを Distil Labs の基盤に上げます。記録から始める方式では、汎用のAIへの呼び出しを Distil Labs の受け口に通すため、本番の要求と答えがそのまま記録され、学習の材料として基盤に保存されることになります。公式の手引きは、実行した後もデータセットが基盤に残っていると書いています。
一方で、確認した公式ドキュメントの範囲では、上げたデータの保存期間、削除の方法、処理する地域、学習以外に使うかどうかについての明確な記述は見当たりませんでした。料金ページには信頼性の資料をまとめたページへの案内があり、企業向けの契約では調達とセキュリティの審査の支援をうたっています。顧客の個人情報を含む記録を上げる前に、契約書と審査の資料で保存・削除・処理地域・再委託先を確かめるのが前提です。
教師役のモデルにも目を向けます。料金ページは、教師役には公開モデルだけを使うため、できたモデルに使用条件の縛りが付かないと説明しています。教師役の公開モデルがどこで動いているかは、契約の確認項目に入れておきます。確認が取れるまでは、個人情報を伏せ字にした記録や、業務の担当者が作った架空の例から始めるのが安全です。
- 記録から始める方式は便利だが、本番の文面がそのまま学習の材料になる。どの業務の呼び出しを通すかを先に決める
- 伏せ字にする項目(氏名・連絡先・契約金額など)と、その処理を誰が行うかを決める
- 上げたデータセットを、作り終えた後にいつ消すかを社内の規程に書く
作ったモデルの持ち主と置き場所:三つの置き方
料金ページは「あなたのモデルはあなたのもの」と説明しています。ただ、実務では持ち主の意味を分けて考える必要があります。公式の手引きの例では、持ち帰れるのは元になる公開モデルに上乗せする差分の重みで、動かすときは元のモデルを別途取得して組み合わせます。差分の重みは自社のものでも、元になる公開モデルの使用条件は元の提供元の条件に従うので、商用の利用や再配布の可否は元のモデルごとに確かめます。
置き方は三つです。一つ目は、Distil Labs の専用の計算機に置いて呼び出す方法で、始めやすい反面、推論の入力は Distil Labs の環境を通ります。二つ目は、差分の重みを持ち帰って自社のサーバーやクラウドで動かす方法で、推論の段階ではデータが社外に出ませんが、計算機の用意と運用の手間を自社で持ちます。三つ目は、企業向けの契約で自社のクラウドや閉域の環境に配備してもらう方法で、料金は個別見積もりです。公式は1億パラメーター級までの端末向けの置き方にも触れています。
どの置き方でも、モデルの版、学習に使ったデータセット、試験の結果を一組にして社内で保管することを決めておきます。どの版がいつ本番に入り、どの試験に合格したかを後から説明できなければ、間違いが起きたときに原因をたどれません。持ち帰った重みは社内の資産台帳に載せ、誰が管理し、誰が使ってよいかを記録します。
誰が入れ替えを決め、誰が戻すか
小型モデルへの置き換えは、関わる部門が多い割に、決める人があいまいになりがちです。業務部門は置き換えたい仕事を持ち込み、開発や機械学習の担当者がモデルを作り、情報システム部門がデータの扱いと置き場所を審査します。このうち本番に入れるかどうかと、戻すかどうかを決めるのは、その業務の結果に責任を持つ部門にしておくのが筋です。作った人が自分で合格を出す形は避けます。
戻す判断には、あらかじめ合図を決めておきます。人が抜き取りで確かめた間違いの率が一定を超えた、汎用のAIに回る件数が急に増えた、業務の規則が変わった、といった合図です。戻す先として、入れ替える前の汎用のAIの呼び出しを残しておくと、戻すのは設定の切り替えで済みます。入れ替えと同時に古い経路を消してしまうと、戻したくても戻せません。
AIに任せてよいのは、合成データの作成、学習、試験の実行といった作業までです。正解の基準を決めること、合格の線を引くこと、本番に入れるかを決めることは人が行います。コーディングエージェントに改善を繰り返させる使い方が公式ブログで紹介されていますが、その場合も、エージェントが出した点数の改善を人が試験の中身まで見て確かめてから採用します。
費用の増え方とやめ方
料金ページによると、登録時に200ドル分の利用枠が付き、その後は前払いの残高から使った分を引く形です。学習は学習に使ったトークン数と回数に応じた従量、合成データの作成や教師役の評価は教師役の規模ごとの単価、配備は1回あたり5ドル、配備した後の推論は計算機の稼働時間に対する課金です。公式の手引きは、失敗した学習にも費用がかかると明記しています。
費用が増えるのは、作り直しの回数、教師役の規模、計算機を置いておく時間の三つです。仕事の種類が変わるたびに作り直す運用になると、合成データと学習の費用が積み上がります。大きい教師役ほど単価が上がるので、教師役の点数が十分なら小さい教師役で足りないかを試します。推論の計算機は、夜間に止められる仕事なら止める運用にします。毎月の上限額を決め、残高の補充を誰が承認するかを決めておくと、試行の段階で費用が膨らむのを防げます。
やめるときは、まず本番の呼び出しを汎用のAIに戻し、次に配備を止め、最後に基盤に残っているデータセットと記録の削除を依頼します。持ち帰った差分の重みと試験の結果は手元に残るので、別の仕組みで動かし続けることもできます。試験用の問題と正解は、どの基盤に移っても使える一般的な形式で自社に保管しておけば、別の方法でモデルを作り直すときにも同じ物差しで比べられます。
よくある質問
Q. 機械学習の担当者がいなくても使えますか
操作の入口はコマンドラインやコーディングエージェント向けの手引きで、開発の知識がある人を前提にしています。業務部門だけで始めるのは現実的ではありません。社内に担当がいなければ、まずは汎用のAIの指示と例を磨く段階で止めるのが妥当です。
Q. 日本語の業務でも同じ水準が出ますか
公式ブログの試験は英語の請求書と旅程の題材で、日本語での水準は公表されていません。元になる公開モデルによって日本語の扱いが違うので、自社の日本語の試験問題で教師役と生徒役の点数を必ず確かめてください。
Q. 汎用のAIの答えを学習に使ってよいのですか
Distil Labs は教師役に公開モデルを使うと説明しています。一方、記録から始める方式で、ほかの提供元のAIの答えを材料にする場合は、その提供元の利用規約が競合するモデルの開発への利用を制限していないかを確かめる必要があります。
Q. 一度作れば、ずっと使えますか
仕事の規則や問い合わせの種類が変わらない限りは使えますが、変われば作り直しです。合格の線と戻す合図を決め、抜き取りの確認を定期的に続けることが前提になります。
まとめ
Distil Labs は、課題の説明と少ない例から、大きな公開モデルに合成データを作らせ、業務専用の小型モデルを後学習する基盤です。2026年9月の公式ブログでは、規則のはっきりした課題で、学習した4Bモデルが大きな教師役にほぼ並ぶ結果を示しました。ただし置き換えが割に合うのは、答えの形が決まった仕事が大量にあり、社外に出しにくいデータを扱い、速さが要る場合です。まずは汎用のAIの指示と例を磨き、それでも解けないときに置き換えを検討します。置き換えるなら、試験の問題と正解は人が先に決め、合成データは抜き取りで読み、迷う入力は汎用のAIか人に回し、判断そのものはモデルに任せないこと。上げるデータの保存と削除、モデルの置き場所と持ち主、入れ替えと差し戻しを決める部門、費用の上限とやめ方までを決めてから始めるのが、遠回りに見えて確実な進め方です。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
うちの業務、AIで何が自動化できる?
「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。
