大きいAIを小さく移す蒸留とは?|費用と速さで決める線

大きいAIを小さく移す蒸留とは?|費用と速さで決める線

「毎月の請求が右肩上がりで、経理から使い方を見直せと言われました。安いモデルに切り替えると答えの質が落ちるので、踏み切れていません」「問い合わせの一次返信を自動で作る仕組みを入れたのに、返ってくるまで十数秒かかるので、結局は担当者が先に手で打っています」。——この2つは、同じ費用の話を別の側から見たものです。片方は請求書の桁として、もう片方は待ち時間として出ているだけで、どちらも大きいモデルに全部の仕事を投げていることから来ています。総務省が令和8年版情報通信白書で示した2025年度の企業向け調査では、自社の何らかの業務で生成AIを利用していると答えた割合は、日本で86.4%、米国で90.9%、ドイツで91.6%、中国で98.1%でした。同じ調査で環境整備の状況を尋ねた設問では、他の3か国は「生成AIに社内データを学習させたり、生成AIが参照可能なデータベースを構築したりしている」と答えた割合が5割を超えた一方、日本はこれを大きく下回っています。使うところまでは横並びになり、自社の側に寄せる作業のほうで差がついている、という形です。この記事では、大きいモデルの答え方を小さいモデルに移す「蒸留」という選択肢を、技術の解説ではなく、誰がどこで決めて、どこで元に戻すのかという運用の判断として書きます。


カメ先生カメ先生

蒸留は小さいモデルを安く作る技術だと思われがちですが、実際にやっているのは、大きいモデルの答え方を写し取る作業です。写す元がなければ始まりません。


カメ子カメ子

小さいモデルを一から作るのとは違う、ということですか。


カメ先生カメ先生

違います。一から作るときは、何を知っているかを積み上げるところから始まります。蒸留が写すのは知っている中身ではなく、問われたときにどう答えるかの型のほうです。だから、写せる仕事と写せない仕事がはっきり分かれます。


カメ子カメ子

写せるかどうかは、どこを見れば見分けられるのでしょうか。


この記事のポイント
  • 蒸留は安く作る技術ではなく、大きいモデルの答え方を写し取る作業。移るのは答え方の型で、知らないことまでは移らない
  • 効きめは公表の点数では決まらない。直近の実データを同じだけ両方に流し、差が出た件だけを3段階で読む
  • 入れ替えの可否、落ちた品質をどこまで許すか、戻す合図の3つは人が決める。戻す手順を書く前に切り替えない

AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

目次

「安くならない」と「間に合わない」は、同じ1つの事実の裏表

請求が膨らむことと、返事が遅いことは、担当部署も相談先も別々になりがちです。前者は経理や購買から、後者は現場から出てきます。ところが元は同じで、1件を処理するのに使う計算の量が多いという一点に行き着きます。計算の量が多ければ、回数をかけた分だけ請求が伸び、1件の中では返ってくるまでの秒数が伸びます。出る場所が違うだけで、原因は1つです。

この見方をすると、打てる手は3つしかないことも分かります。呼ぶ回数を減らすか、単価の安いモデルに切り替えるか、いま使っているモデルの答え方を小さいモデルに移すか。1つ目は運用の話、2つ目は選定の話で、どちらも新しく作るものはありません。3つ目だけが自社の手元に、自社の仕事に合わせた小さいモデルを作る話になります。作る話になった瞬間に、決める人と止める人が要ります。

順番も決まっています。1つ目と2つ目で足りるなら、3つ目に進む理由はありません。入力の前置きを短くする、同じ問い合わせを使い回す、公開されている小さいモデルをそのまま試す。ここまでを試さずに蒸留から入ると、作る費用だけがかかって、比べる相手がない状態になります。この記事が扱うのは、ここまでを試した上でまだ足りない場合の選択肢です。

蒸留とは、大きいモデルの答え方を小さいモデルに写し取ること

蒸留の手順そのものは単純です。教師役になる大きいモデルに、たくさんの問いを解かせます。その問いと答えの組を教材にして、生徒役になる小さいモデルを訓練します。これだけです。人が正解を書いて教えるのではなく、すでに上手く答えられるモデルの答えを、そのまま教材として使うところが特徴です。

もう一段の工夫があります。教師の答えを「これが正解」という1つの形だけで渡すのではなく、教師がどの候補をどれくらいの確からしさで選んだのか、その広がりごと渡すやり方です。迷った場面では迷いの度合いまで写るので、正解の一覧だけを渡すより生徒が伸びやすくなります。教師の迷い方まで含めて写すのが、蒸留が単なる答え合わせと違うところです。

効果の大きさは場面によります。2019年10月に公開された論文では、当時広く使われていた言語モデルを蒸留した小型版について、元の性能の97%を保ちながら大きさを40%小さくし、処理を60%速めたと報告されています。ただしこれは当時の1つのモデルでの報告であり、いまの大きいモデルにそのまま当てはまる数字ではありません。自社で出る数字は、自社の題材で測るまで分かりません

量子化・枝刈りとは別物。3つを混ぜると判断がぶれる

「モデルを軽くする」という言い方で3つの手法がまとめられることがありますが、決裁の重さがまったく違います。量子化は数の表し方を粗くして、同じモデルの軽い版を作ります。枝刈りは効きの小さい部分を落として、同じモデルを細くします。蒸留だけが、別のモデルを新しく作る作業です。

手法やっていること訓練のやり直し主に減るもの運用側に増える仕事
量子化数の表し方を粗くして、同じモデルの軽い版にする多くの場合は不要で、後から適用できる置き場所の大きさと、返るまでの時間軽い版でも答えが変わっていないかを確かめる作業
枝刈り効きの小さい部分を落として、同じモデルを細くする落とした後に調整が要ることがある計算の量と、置き場所の大きさどこまで落としてよいかを決め、落とし過ぎを見つける作業
蒸留大きいモデルの答えを教材にして、別の小さいモデルを育てる必要。教材を作って訓練する1件あたりの費用と、返るまでの時間教材づくり、入れ替えの判断、入れ替えた後の見張り

3つは併用できます。蒸留した小さいモデルにさらに量子化をかける、という組み合わせは普通にあります。ただ、別のモデルになるということは、社内の承認と検証をもう一度通すということです。同じモデルの軽い版なら、前の検証結果をある程度引き継げます。別のモデルには引き継げません。技術の難しさではなく、通す手続きの数が違います。ここを混ぜて説明すると、決裁の場で話が噛み合わなくなります。

移せるのは答え方の型で、知らないことまでは移らない

いちばん多い誤解は、蒸留すれば小さいモデルが大きいモデルと同じことを知るようになる、というものです。移るのは教材に出てきた範囲の受け答えです。教材に一度も出てこなかった話題については、小さいモデルは元のままで、大きいモデルが持っていた知識が勝手に入ってくることはありません

この区別は導入の設計を変えます。社内の製品名や手順を正しく答えさせたいなら、道は2つです。1つは、その製品名と手順が出てくる問いと答えを教材に含めること。もう1つは、答えるたびに手元の資料を探して参照させる仕組みを使うことです。前者は答え方に寄せる打ち手、後者は材料を渡す打ち手で、資料が毎月更新されるものなら、教材に焼き付けるのではなく参照側に置くのが定石になります。

実務では両方を使うことが多くなります。参照の仕組みで材料を渡し、蒸留した小さいモデルで渡された材料の並べ方と答え方を安定させる、という組み合わせです。逆に言えば、材料の置き場所が整理されていない会社では、蒸留だけを先にやっても効きません。参照させる資料がばらばらなら、答え方を整えても中身が揃わないためです。

向く仕事と向かない仕事は、問いの形で分かれる

向くのは、入ってくる形と出す形が両方決まっている仕事です。問い合わせの種類を仕分ける、文書から決まった項目を抜き出す、定型の返信の下書きを作る、同じ規則で言い換える、短くまとめる。こうした仕事は、同じ問いが日に何百件も来る代わりに、答えの幅が狭いという性質を持ちます。教材が集めやすく、良し悪しの判定も揃えやすくなります。

向かないのは、毎回の条件が違う仕事です。前提が長く、複数の資料を突き合わせ、その場で優先順位を決める必要があるもの。値引きの可否、契約の解釈、人にかかわる評価。これらは答えの幅が広いので、教材を何千件集めても、次に来る問いが教材の外に出ます。答えの幅が広い仕事ほど、小さいモデルは端で崩れると考えて差し支えありません。

見分け方は数えれば済みます。直近1か月の入力から100件を無作為に抜き、出力が同じ枠に収まるかを人が仕分けします。同じ枠に収まる割合が8割を超えるなら候補、5割を下回るなら見送り。総務省の同じ調査で日本の活用が多かった業務類型は、議事録とメール作成の補助が約7割、営業と販売が約6割、社内のヘルプデスクが約5割でした。このうち枠に収まりやすいのは議事録の整形と社内のヘルプデスクで、営業の場面は相手ごとに条件が動くため、同じ括りでは扱えません。

教材の作り方で結果が決まる。集め方には3つの型がある

蒸留の作業時間の大半は、訓練ではなく教材づくりに消えます。集め方は3つあり、それぞれ偏り方が違います。1つ目は実際に来た問いをそのまま使う型で、現場で起きている分布に合う代わりに、個人の名前や取引条件を取り除く作業が必要です。2つ目は人が問いを書き起こす型で、珍しい聞き方を意図して入れられる代わりに、数が揃いません。

3つ目は、大きいモデルに問いそのものを作らせる型です。量はいくらでも出ますが、作らせた問いは、作った側が得意な聞き方に寄ります。現場から来る崩れた日本語や、途中で用件が変わる問い合わせは出てきません。この型だけで教材を作ると、試験では良い点が出るのに本番で崩れる、という結果になります。実務では3つを混ぜ、実際に来た問いを土台に、足りない形だけを2つ目と3つ目で補います。

量より先に決めるのは、確かめ方です。集めた教材のうち1割は人が読み、教師の答えが間違っていないかを見ます。教師が間違えた答えは、そのまま生徒に写るからです。読む担当は、その業務を実際にやっている人にします。作る側が読むと、答えの形が整っているかどうかだけを見て、中身の誤りを見落とします。

元のモデルの出力を教材に使ってよいかは、提供元ごとに違う

ここは技術ではなく契約の話です。海外の大手提供元の利用規約には、自社のサービスを使って競合するモデルを開発したり訓練したりすることを禁じる条項が置かれている例があります。ただし条項の有無も、禁止の範囲も、いつ改定されたかも提供元ごとに違い、同じ提供元でも版によって変わります。したがって「蒸留は規約違反だ」とも「問題ない」とも、ここでは言い切れません。

実際に争点になっています。海外の大手提供元が2026年2月23日に公表した発表では、利用規約と地域ごとのアクセス制限に反する形で能力を取り出そうとした事案が示され、約24,000の不正なアカウントを通じて1,600万件を超えるやり取りが行われたとされています。検知のための仕組みを作り、他の事業者や当局へ指標を共有したとも書かれています。提供元の側は、出力の大量取得を検知する前提で動いているという事実のほうが、実務では重く効きます。

法的な整理はまだ固まっていません。2026年3月16日に公表された海外の大学の研究者による論説では、生成された出力そのものに著作権が及ぶかという論点と、規約という契約に反するかという論点は別のものだと整理され、契約は絶対的な壁ではなく条件付きの盾として働くと述べられています。社内で先にやることは、法務が対象の提供元の最新の規約を読み、読んだ日付と該当箇所を記録に残すことです。禁じられている場合は、重みが公開されているモデルを教師にする、自社の人手で教材を作る、といった別の道を検討することになります。ここは自社の判断だけで進めず、必ず外部の専門家の確認を入れる領域です。

自社の記録を教材に混ぜる前に、社内で決めておく4つ

教材に自社の記録を入れると、精度は上がりますが、後戻りが難しくなります。決めておくのは4つです。どの記録なら教材にしてよいか。取引先から預かった資料を教材にしてよいか。教材にした記録を後から取り消せるか。何を教材にしたかの一覧を誰が持つか。順番としては、3つ目がいちばん先に効きます。

  • 教材にしてよい記録の範囲を、部署ではなく記録の種類で決める。顧客の氏名、連絡先、取引条件、未公開の価格は、入れる前に置き換えるか落とす
  • 取引先から受け取った資料は、契約に目的外の利用を禁じる条項が入っていることがある。教材に使うのは目的外に当たるかを、契約ごとに確かめる
  • 訓練が済んだモデルから、特定の記録だけを後から抜くのは難しい。消せない前提で入口を絞る
  • 何を教材にしたかの一覧を、業務側の責任者が保管する。作った人の手元だけに置かない

3つ目を先に置くと、1つ目と2つ目の判断が自然と厳しくなります。後から消せるつもりでいると、迷ったものをとりあえず入れてしまいます。消せないと分かっていれば、迷ったものは外します。入れるかどうかで迷ったものは、外したほうが安いという単純な規則が、ここでは正しく働きます。

4つ目も軽く見られがちですが、説明を求められたときに効きます。半年後に「この答えはどこから来ているのか」と聞かれて、教材の一覧が出せないと、答えようがありません。作った人が退職していれば、なおさらです。一覧は作業の記録ではなく、後から説明するための資料として残します。

効きめは公表の点数では決まらない。入れ替え前後の同じ入力で見る

小さいモデルの紹介資料には、たいてい点数が並んでいます。その点数は別の問題集での結果であって、自社の問い合わせでも同じ差が出るという保証はありません。判断に使えるのは1つだけです。いま実際に来ている入力を、大きいモデルと小さいモデルの両方に同じだけ流し、出てきた答えを並べて見ること。この比較ができないうちは、入れ替えの議論を始めません。

件数は数百件あれば十分です。直近の実データから200件から300件を取り、両方に流します。全部を読む必要はありません。読むのは、2つの答えに差が出た件だけです。差が出なかった件は、どちらでも同じなので判断材料になりません。この絞り込みをすると、人が読む量は現実的な範囲に収まります。

判定は合っているかどうかの2択にしません。そのまま使える、直せば使える、使えない、の3段階にします。2択にすると、少し文言が違うだけのものが不合格に寄り、差が実際より大きく見えます。3段階にしたうえで、入れ替えの最低条件は「使えない」の割合が現行より増えていないことに置きます。「そのまま使える」が多少減っても、直せば使える範囲に収まっていれば、現場は回ります。

落ちるものは決まっている。珍しい聞き方・長い前提・言い回しの幅

小さいモデルに移したときに落ちる場所には、繰り返し出る型があります。1つ目は珍しい聞き方です。教材に出てこなかった形で問われると、途端に答えが雑になります。2つ目は長い前提です。前置きが数百字ある問いで、後半の条件を見落とします。3つ目は言い回しの幅で、同じことを違う表現で3回聞くと、3回とも違う答えが返ります。

4つ目がいちばん厄介です。分からないときに分からないと言えなくなることがあります。大きいモデルなら「その情報は手元にありません」と断っていた場面で、小さいモデルはそれらしい答えを作ります。断る力は答える力より後から身につくので、写し取りの過程で落ちやすいのです。断り方が落ちたかどうかは、答えられない問いを混ぜないと測れないので、比較用のデータには、わざと答えの存在しない問いを1割ほど混ぜておきます。

こうした落ち方は平均点には出ません。8割から9割の問いは同じように答えられるので、全体の正答率はほとんど変わらないように見えます。崩れるのは端の1割で、しかもその1割は、現場でいちばん面倒な問い合わせと重なります。平均だけを見て入れ替えると、数字は良いのに現場の不満が増える、という食い違いが起きます。

誰が入れ替えを決め、誰が戻すか

技術の検討が済んでも、切り替えられない会社があります。決める人が決まっていないからです。役割は3つに分け、作る人と止める人を同じにしないことだけは守ります。作った本人は、落ちている兆候を見ても「調整すれば直る」と判断しがちで、止める決断が遅れます。

STEP1
対象の仕事を1つに絞り、いまの出力を記録に残す

複数の業務でまとめて試そうとすると、どの差がどこから来たのか読めなくなります。1つに絞り、切り替える前の出力を3週間分ほど残します。比べる基準は、切り替えてからでは作れません。

STEP2
教材を作り、規約と記録の扱いを法務が確認する

教師にするモデルの規約、教材に入れる自社記録の範囲、取引先から預かった資料の扱いを確認します。確認した日付と該当箇所を残します。ここで止まったら、教師を替えるか、人手で教材を作るかの分かれ道になります。

STEP3
片側だけ入れ替え、同じ入力を両方に流す期間を置く

いきなり全部を切り替えません。同じ入力を両方に流し、小さいモデルの答えは出さずに記録だけ取る期間を2週間から4週間置きます。現場に影響を出さずに、差が出る場面を集められます。

STEP4
戻す合図と戻す人を書いてから、切り替えの可否を決める

可否を決めるのは業務側の責任者1人です。決める前に、どうなったら戻すのかと、戻す判断をする人の名前を書きます。これが書けていない段階では、切り替えの承認を出しません

止める人は、その業務を毎日見ている現場の担当にします。情シスや外部の開発担当は、落ちたことに気づく位置にいません。気づける位置にいる人に、止める権限を渡す。これは蒸留に限らず、自動化を入れるときの共通の型です。

入れ替えたあとの見張り方と、戻す合図の決め方

切り替えて終わりにすると、落ちたことに気づくのは顧客からの指摘になります。見張る場所は3つあります。出力の形が崩れていないか、人が手直しした回数、相手からの聞き直しや再送です。このうち機械で自動的に見られるのは1つ目だけで、残りの2つは運用の記録を取らないと見えません。

だから、記録の取り方を切り替え前に決めます。手直しをしたら1件として数える、聞き直しが来たら印を付ける。作業としては数秒ですが、切り替えた後に頼むと、現場は余計な仕事が増えたとしか受け取りません。切り替え前から同じ記録を取っていれば、比較の材料にもなり、押し付けにもなりません。

戻す合図は、必ず数で書きます。「品質が落ちたら戻す」では誰も戻せません。手直しの割合が2週続けて切り替え前の水準を超えたら戻す、といった形にします。そして戻す作業は、設定の切り替えだけで済む作りにしておきます。戻すのに開発の手が要る作りにすると、数字が悪くても「来月の改修で直す」という先送りが起き、戻す合図そのものが機能しなくなります。

費用で重いのは利用料ではなく、教材づくりと見張りの手間

小さいモデルに移すと、1件あたりの単価は下がります。ただ、下がった分がそのまま浮くわけではありません。教材を集めて個人情報らしき箇所を落とす作業、訓練、比較のための読み込み、見張りの記録、両方を並行して動かす期間の二重の費用。これらは最初の数か月に集中してかかり、利用料の削減は薄く長く効きます。形が逆なので、月単位の比較では割に合わないように見えます。

比べるなら1年の総額にします。そのうえで、回数が少ないうちは、作るより運用で削るほうが必ず安いという事実を先に確認します。前置きを短くする、同じ問いの答えを使い回す、そもそも呼ばなくてよい場面を外す。これらは今日から着手できて、追加の費用がかかりません。

作る話に切り替わる線は、2つの条件が揃ったときです。同じ形の問いが1日あたり数百件の規模で来ていること。そしてその仕事が半年より先も同じ形で続く見込みがあること。2つ目が抜けている案件が多く見られます。半年で業務の形が変わるなら、教材を作り直すことになり、作った費用は回収できません。制度改正や商品改定が控えているなら、蒸留は改定の後に回します。

AIに任せてよい工程と、人が決める3つ

この作業の中でAIに任せてよい範囲は、はっきりしています。教材の候補を洗い出すこと、個人情報らしき箇所を指摘すること、2つのモデルの答えの違いを要約すること、落ちた場面を型ごとに仕分ける下書きを作ること。いずれも指摘と下書きまでで、削除や判定そのものは含みません。個人情報らしき箇所の指摘についても、消す判断は人が確認してから行います。

指摘には必ず根拠の箇所を併記させます。「この答えは品質が低い」ではなく、「この答えは前置きの3つ目の条件を反映していない」という形です。根拠の箇所を書けない指摘は、採用しないという規則を先に置くと、確認の手間がかえって減ります。読む側が、根拠のある指摘だけを追えばよくなるためです。

人が決めるのは3つです。入れ替えてよいかどうか。落ちた品質をどこまで許すか。どうなったら戻すか。この3つをAIに尋ねてはいけません。尋ねれば、それらしい根拠を並べた賛成意見が返ってきます。判断を求める問いは、答えが返ってくること自体が危険で、返ってきた答えに人が引きずられます。相談相手として使うなら、賛成と反対の両方の材料を出させ、決めるのは会議の場に戻します。

よくある質問

蒸留と追加学習は違うものですか

作業としては重なりますが、教材の出どころが違います。追加学習は、人が用意した正解を教材にします。蒸留は、すでに上手く答えられる大きいモデルの答えを教材にします。人が正解を書ける仕事なら追加学習、書き起こすのが大変なほど量が多い仕事なら蒸留、という分かれ方になります。実務では両方を混ぜることもあります。

公開されている小さいモデルをそのまま使うのでは足りませんか

まず試すべきです。近年は公開されている小さいモデルの水準が上がっており、形の決まった仕事であれば、そのままで足りる場合があります。蒸留は、そのまま使って足りなかったときの選択肢です。順番を飛ばすと、作らなくてよかったものを作ることになります

小さいモデルなら社内に置けますか

置ける場合があります。ただ、置くこと自体を目的にすると負担が増えます。社内に置けば、更新も監視も障害の対応も自社の仕事になります。外に出せない情報を扱うから置く、という理由がある場合に限るのが安全です。

教師にするモデルは新しいほどよいのですか

新しさより、その仕事での答えが安定していることを優先します。教師が間違えた答えは、そのまま生徒に写ります。新しいモデルに替えた直後は、その仕事での振る舞いがまだ確かめられていないので、教師として使うには早すぎることがあります。

試したのに効果が出ませんでした。どこを疑えばよいですか

教材の量ではなく、教材の分布を疑います。実際に来ている問いの形と、教材に入っている問いの形がずれているのが最も多い原因です。直近1週間の実際の入力を100件並べ、同じ形の問いが教材に何件入っているかを数えると、たいていずれが見つかります。

進め方の失敗と、この記事で扱っていないこと

同じ失敗が繰り返されています。どれも検討の初期ではなく、切り替えてから1か月から3か月後に表に出るものです。

  • 公表されている点数だけを見て入れ替えを決める。別の問題集での結果なので、自社の問い合わせで同じ差が出るとは限らない。判断できるのは、同じ入力を両方に流した結果だけ
  • 平均の正答率で合否を出す。崩れるのは端の1割で、そこは現場でいちばん面倒な問い合わせと重なる。平均は保たれたまま、現場の不満だけが増える
  • 答えの存在しない問いを比較に入れない。断る力は写し取りの過程で落ちやすいのに、答えられる問いだけで測ると、この落ち方が見えない
  • 戻す手順を作らずに切り替える。戻すのに開発の手が要る作りにすると、数字が悪くても先送りになり、戻す合図そのものが機能しなくなる
  • 作った人に止める権限を持たせる。作った本人は調整すれば直ると判断しがちで、止める決断が遅れる。止める人は、その業務を毎日見ている現場の担当に置く
  • 業務の形が半年先に変わると分かっているのに進める。教材を作り直すことになり、作った費用は回収できない。制度改正や商品改定が控えているなら後に回す
  • 生成AIの業務利用の割合、活用方針の策定状況、組織的な取組状況、業務類型ごとの活用状況、環境整備の状況は、総務省の令和8年版情報通信白書に掲載された記載です。出典は総務省(2026)「国内外における最新の情報通信技術の研究開発及びデジタル活用の動向に関する調査研究」で、白書の本文では2025年度企業向け調査と呼ばれています。比較対象は日本、米国、ドイツ、中国の4か国です。各図表には回収数の記載がないため、母数は公表資料の範囲では確認できません。また設問ごとに回答対象が絞られているため、割合を単純に足し合わせて読むことはできません
  • 元の性能の97%を保ちながら大きさを40%小さくし処理を60%速めたという数値は、2019年10月に公開された論文が、当時広く使われていた1つの言語モデルについて報告したものです。いまの大きいモデルに同じ比率が当てはまることを示すものではありません
  • 出力を教材に使うことの可否は、提供元ごとの利用規約によって異なり、条項の有無も範囲も改定の時期も一様ではありません。この記事は特定の提供元について可否を述べるものではなく、実際の判断にあたっては、対象となる提供元の最新の規約を確認し、法務および外部の専門家の確認を経る必要があります
  • 規約に反する形で能力を取り出そうとした事案の規模に関する数値は、海外の大手提供元が2026年2月23日に公表した発表の記載です。契約と著作権を分けて整理する見方は、2026年3月16日に公表された海外の大学の研究者による論説の記載で、いずれも特定の国の法制度を前提としています。日本法の下での扱いとは異なる場合があります
  • この記事は、大きいモデルの答え方を小さいモデルに移すかどうかの判断と、移した後の見張り方を扱っています。従量課金の予算化と上限の置き方、モデルを選ぶ前に見る指標の読み方、考える時間を長く取るモデルの使い分けは、いずれも別の作業として整理する必要があります

まとめ

蒸留は小さいモデルを安く作る技術ではなく、大きいモデルの答え方を小さいモデルに写し取る作業です。教師役の大きいモデルにたくさんの問いを解かせ、その答えを教材にして生徒役を訓練します。答えを1つの正解として渡すのではなく、どの候補をどれくらいの確からしさで選んだのかという広がりごと渡すところが、単なる答え合わせとの違いです。ここを取り違えると、蒸留すれば小さいモデルが大きいモデルと同じことを知るようになる、という期待が生まれます。移るのは教材に出てきた範囲の答え方であって、教材になかった話題については元のままです。だから、毎月更新される資料を答えさせたいなら、教材に焼き付けるのではなく参照させる側に置きます。量子化や枝刈りと同じ箱に入れて語らないことも大切です。前の2つは同じモデルの軽い版を作る話で、蒸留だけが別のモデルを作る話です。別のモデルになるということは、社内の承認と検証をもう一度通すということで、技術の難しさではなく手続きの数が違います。向くのは、入る形と出る形が決まっていて、同じ問いが大量に来る仕事です。直近1か月の入力から100件を抜き、出力が同じ枠に収まる割合が8割を超えるなら候補、5割を下回るなら見送りという線で仕分けられます。教材づくりでは、実際に来た問いを土台にし、足りない形だけを人が書いた問いと大きいモデルに作らせた問いで補います。作らせた問いだけで固めると、試験では良い点が出て本番で崩れます。集めた教材の1割は、その業務を実際にやっている人が読みます。教師が間違えた答えは、そのまま生徒に写るためです。元のモデルの出力を教材に使ってよいかは提供元ごとに違い、条項の有無も範囲も改定の時期も一様ではないので、法務が最新の規約を読み、読んだ日付と該当箇所を記録に残すところから始めます。自社の記録を混ぜる前には、訓練済みのモデルから特定の記録だけを後から抜くのは難しいという前提を置きます。消せないと分かっていれば、迷ったものは自然と外れます。効きめは公表の点数では決まりません。直近の実データから200件から300件を両方に流し、差が出た件だけを、そのまま使える、直せば使える、使えないの3段階で読みます。入れ替えの最低条件は、使えないの割合が現行より増えていないことです。落ちるのは平均ではなく端の1割で、珍しい聞き方、長い前提、言い回しの幅、そして分からないと断る力に出ます。断り方を測るには、答えの存在しない問いを1割ほど混ぜておく必要があります。体制では、作る人と止める人を分け、止める権限をその業務を毎日見ている現場の担当に渡します。戻す合図は数で書き、戻す作業が設定の切り替えだけで済む作りにしてから切り替えます。費用でいちばん重いのは利用料ではなく、教材づくりと見張りの手間で、最初の数か月に集中してかかります。だから比べるのは1年の総額です。作る話に切り替わる線は、同じ形の問いが1日あたり数百件の規模で来ていて、その仕事が半年より先も同じ形で続く見込みがあること。この2つが揃わないうちは、前置きを短くする、同じ問いの答えを使い回す、呼ばなくてよい場面を外す、といった運用の側で削るほうが安く済みます。次の一手は製品の比較ではありません。直近1か月の入力を100件抜いて、出力が同じ枠に収まる割合を数えてみる。その割合が5割を下回るなら、今年は作る話をしなくて済みます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

運営会社:株式会社デボノ

目次