追加学習を軽くするLoRAとは？｜試す前に決める条件

「社内の書式に合わせたいので追加学習をやる、と決まったのですが、見積もりを見て固まりました」「LoRAでやりますと言われて、何が軽くなるのかと聞き返したら、社内の誰も答えられませんでした」——追加学習に踏み出した会社では、この二つが同じ週に出てきます。予算の話でも、勉強不足の話でもありません。LoRAは「大きなモデルを丸ごと作り直す」という前提そのものを外し、元は一切触らずに小さな部品だけを学習させるやり方だからです。この記事では、何が軽くなり、何は軽くならないのか、そして試す前に決めておく条件を整理します。

「軽いやり方があるらしい」の先で、話が止まる

生成AIを使う会社は、もう珍しくありません。総務省が2026年7月24日に公表した令和8年版の情報通信白書では、企業の生成AIの利用率は86.4パーセントに達しています。その一方で、活用方針を定めた企業は68.9パーセント、組織的な取組はないと答えた企業が27.0パーセント残ります。使い始めるところまでは進み、自社の業務に合わせて作り込む段になると人数が減る、という形です。

その「作り込む」の入口に出てくるのが追加学習です。ところが会議では、何を追加で学習させるのかではなく、いくらかかるのかの話に先に飛びます。見積もりを見た人が固まり、誰かが「軽いやり方があるらしい」と言い、LoRAという名前が出る。そこから先で止まるのは、何が軽くなって何が軽くならないのかの線を、社内の誰も引けていないからです。

この線は、仕組みを一段だけ下りれば引けます。LoRAは費用を割り引く契約ではなく、学習のやり方そのものを変える仕組みです。変えているのは「元のモデルの数値を書き換えるかどうか」の一点で、そこから軽くなる場所と軽くならない場所が決まります。順番に見ていきます。

元のモデルは書き換えない。横に小さな二つの行列を足す

LoRAは2021年に公開された手法です。論文の初版が2021年6月17日、最終版が同年10月16日に出ています。中身を一行で言うと、学習済みのモデルの数値をすべて凍結し、その各層に、学習できる小さな二つの行列を差し込むというものです。元の数値は最後まで一度も書き換わりません。

差し込む二つの行列は、縦横のどちらか一方がとても短い形をしています。片方が入ってきた信号を短い幅に絞り、もう片方がそれを元の幅に戻す。この二つを通した結果を、元の層の出力に足し込みます。元の出力に補正を重ねる形なので、元の重みは読まれるだけで、書き込まれることがありません。学習の対象になるのは、差し込んだ二つの行列だけです。

絵にすると、大きな無地の塊はそのまま置いておき、その横に薄い板を一枚だけ差し込むような形です。塊を削って作り直すわけではないので、塊は別の用途にもそのまま使えます。ここが、後で出てくる「一つのモデルに複数の部品を付け替える」という運用につながります。実装の解説にも、元の重みが凍結されているからこそ、用途別の軽い部品を複数持てるのだと書かれています。

軽くなるのは二か所——学習する数と、持ち歩く荷物

論文が示した数値は分かりやすいものです。1,750億個の数値を持つ大きなモデルを対象にしたとき、学習の対象になる数を1万分の1まで減らし、計算機側で必要になる記憶領域を3分の1に抑えられたと報告されています。学習のたびに全部の数値を動かす、という前提を外した結果です。

軽くなる場所はもう一つあります。保管です。作り終えたあとに手元に残るのは、差し込んだ小さな行列の値と、どこにどう差し込んだかを書いた設定だけです。元の巨大なモデルは共有したまま、用途ごとの成果物を小さな部品として並べておけるので、置き場も受け渡しも軽くなります。

ここで線を引きます。軽くなったのは計算と保管であって、人がやる仕事は一つも軽くなっていません。学習の材料を作る、良くなったかを判定する、元のモデルが入れ替わったときに作り直す。この三つは全部残ります。「LoRAなら安く済む」という言い方が社内で独り歩きすると、残った三つの工数が誰の予定表にも入りません。見積もりを比べる前に、この三つを誰の何時間として置くのかを決めておきます。

どこに、どれだけ当てるか——ランクと当てる層

決めるつまみは大きく二つです。一つ目がランクと呼ばれる値で、差し込む行列の短いほうの幅を指します。実装の解説では「ランクが低いほど更新の行列は小さくなり、学習の対象になる数が減る」と説明されています。効き方と重さを同時に決めるつまみだ、と考えると扱いを間違えません。

ランクには、効きの強さを決める係数が組みになって付きます。実際の効き方は、その係数をランクで割った値で決まる作りです。ランクだけを上げると割る数が大きくなるぶん一つあたりの効きが薄まるため、片方だけを動かすと意図と逆の結果になることがあります。層ごとに違うランクと係数を割り当てる指定も用意されていますが、最初の一回で使うものではありません。

割り方そのものにも選択肢があります。ランクで割る既定の形のほかに、ランクの平方根で割る形も用意されていて、ランクを大きく取るときに効き方が崩れにくいとされています。ここまで来ると設定の細部の話ですが、「どちらの割り方で回したか」も記録に含めておきます。割り方が違えば、同じランクでも結果は変わります。

二つ目は、当てる層の選び方です。原理としてはどの重み行列にも当てられますが、簡潔さと軽さのために、注意の仕組みの部分だけに当てるのが通例だと解説されています。当てる場所を増やせば表現の幅は広がり、同時に重くなります。まず狭く当てて、判定で足りなければ広げるという順番にしておくと、どの変更が効いたのかを後から言えます。

注意点を一つ。ランクも当てる層も、途中で変えると前の結果と直接は比べられなくなります。試した回ごとに、ランク・係数・当てた層・使った材料の版を並べて残しておきます。この記録が無いと、三回目の試しで「二回目は何をしたんでしたっけ」が始まり、そこから半日が消えます。

出すときは二通り。付けたまま出すか、元に混ぜ込むか

学習が終わった小さな部品は、二通りの出し方ができます。一つは付けたまま出す形で、元のモデルの横に部品を載せて動かします。もう一つは元に混ぜ込む形で、部品の中身を元の重みに足し込み、一枚の普通のモデルに戻してしまいます。

混ぜ込む形の利点は、動かすときの造りが単純になることです。公式の解説にも、アダプターの重みは元のモデルに統合できるため推論の遅延が増えないと明記されています。混ぜ込んだ後は、追加学習をしたという事実が造りの上では見えなくなるので、配る先の環境に特別な仕掛けが要りません。

一方、付けたまま出す形は切り替えと取り外しができます。部品を一時的に無効にして元のモデルの振る舞いに戻す、別の部品に入れ替える、といった操作がその場でできます。実装には、混ぜ込んだ状態を後から外して元に戻す関数と、混ぜ込んだうえで単独のモデルとして持ち出す関数の両方が用意されています。

混ぜ込む操作には、実装上の落とし穴が一つあります。混ぜ込む処理は元のモデルをその場で書き換える形ではなく、混ぜ込んだ結果を受け取り直す形で提供されています。受け取り忘れると、混ぜ込んだつもりで元のまま配ってしまう、という取り違えが起きます。配布の直前に、混ぜ込んだ側を使っているかを一度確かめておきます。

判断は用途の数で決まります。用途が一つで配る先が多いなら混ぜ込む。用途が複数あって動かす台が限られているなら付けたまま。ここを先に決めておかないと、学習が終わってから配布の設計をやり直すことになります。

一つのモデルに複数を付け替えるという運用

付けたまま出す形を選ぶと、一台のモデルに複数の部品を読み込んで、呼び分けるという運用ができます。実装には、部品に名前を付けて読み込む操作、どれを有効にするかを切り替える操作、不要になったものを削除する操作が用意されています。部署ごと、文書の種類ごとに部品を分ける、という分け方が現実的になります。

配信する側の仕組みにも、同じ考え方の設定があります。公開されている配信の仕組みでは、同時に載せられる部品の数、受け付けるランクの上限、計算機の外側に控えさせておく数を設定でき、動作中に部品を読み込んだり外したりする口も用意されています。ただし動作中の入れ替えについては、危険があるため完全に信頼できる閉じた環境でのみ使うように、という注意書きが付いています。

出し方	向く場面	気をつける点
元に混ぜ込んで一枚にする	用途が一つで、配る先が多い	後から用途を足すときに作り直しになる
付けたまま一つだけ有効にする	用途が数個で、切り替えが起きる	どれが有効かを取り違えると出力が静かに変わる
同時に複数を載せて呼び分ける	部署や文書の種類で分けたい	同時に載せる数と受け付けるランクの上限を先に決める

表の三つ目を選ぶときに効いてくるのが、どの部品がどの元のモデルに対して作られたかの記録です。配信の仕組みには、部品ごとに元のモデルの名前を書く欄が用意されています。ここが空欄のまま運用に入ると、元のモデルを差し替えた日に、どの部品が載せ直しになるのかを誰も言えなくなります。

付け替えは効くが、混ぜ合わせには落とし穴がある

複数の部品を「切り替える」ことと「混ぜ合わせて一つにする」ことは、別の話です。実装には複数の部品に重みを付けて一つに合成する機能があり、単純に足す形、特異値で分解して合わせる形、つなげる形などが選べます。便利に見えますが、ここには公式の注意書きが付いています。

つなげる形を選ぶと、出来上がりのランクが元の部品のランクの合計になるため、記憶領域が足りなくなる場合があると明記されています。単純に足す形は効率的な代わりに粗い近似だ、とも書かれています。合成は「二つを足せば両方できるようになる」という足し算ではありません。片方の効きがもう片方を打ち消すことも、両方が薄まることもあります。

実務での扱い方は一つです。合成した結果は、合成していない元の部品と同じ判定の組で採点し直す。良くなったと言えたときだけ採用し、言えなければ切り替えの運用に戻します。AIの側が勝手に良い折衷を見つけてくれる、という期待の置き方をすると、判定の手間だけが増えて結論が出ません。

材料は集めるものではなく、問いと答えの対として作るもの

追加学習に要るのは、社内文書の山ではありません。要るのは「こういう入力が来たら、こう出してほしい」という対です。過去の見積書や報告書をそのまま渡しても学習の形にはならず、まず対の形に起こす作業が発生します。ここが、実際にいちばん時間を食う工程です。

起こし方には型があります。過去の実物を開いて、そのとき与えられていた条件と、実際に出した成果物を並べる。条件が文書に残っていなければ、書いた本人に聞いて書き起こします。件名の付け方、章立て、断り書きの位置、社内で使う言い回し——直したいものが書式なら、材料もその粒度で作ります。

ここで必ず出るのが、同じ問いに違う答えが並ぶ問題です。担当者ごとに書き方が違う、年によって様式が変わっている。この状態を放置したまま学習させると、ばらつきごと覚えるので、出てくるものもばらつきます。正はどれかを決める作業は、その文書を書いてきた業務側にしかできません。

なお、対をどれだけ用意すればよいかは、直したいものの幅で大きく変わります。幅を狭く取るほど、少ない材料で形になります。最初の一回は、直したい出力を一種類に絞るのが近道です。

「良くなった」をどう判定するか——判定の組を先に切り出す

追加学習でいちばん抜けやすいのが、判定の設計です。学習に使った材料で採点しても、良くなったことにはなりません。材料を作った時点で、学習には一切使わない組を先に抜き出して封をしておきます。後から抜こうとすると、どれを学習に使ったのかが分からなくなります。

採点の物差しは、人が作ります。何を見て合格とするのかを、指定した見出しが全部あるか、禁止している言い回しが混ざっていないか、指定した順番で並んでいるかのように、後から数えられる形に落とします。感想で採点すると、二回目の試しと比べられません。

比べる相手を決めるのも、同じくらい大事です。相手は「何もしていない元のモデル」と「指示文だけを整えた状態」の二つにします。追加学習をしなくても、指示文を整えるだけで届いてしまうことは珍しくありません。この二つを置かずに始めると、良くなったのか、そもそも要らなかったのかが最後まで分かりません。

採点そのものをAIにやらせたくなりますが、一次の採点を下書きさせるところまでにして、合格の線は人が引きます。AIに採点させると、AIが得意な書き方に点が寄ります。抜き取りで人が採点し直し、AIの採点とずれていないかを確かめる回を、必ず一度は入れておきます。

元のモデルが更新されたとき、どこまでが作り直しになるか

小さな部品は、独立した成果物ではありません。元のモデルの層の名前と、その層の幅に合わせて作られています。元のモデルが新しい版に入れ替わり、層の構成が変われば、同じ部品はそのままでは載りません。ここが、追加学習を長く回すときにいちばん効いてくる制約です。

だから配信の仕組みは、部品ごとに「どの元のモデルに対するものか」を書かせます。元のモデルの版まで含めて記録し、載せるときに一致を確かめるのが実務の形です。版を書かずに部品だけを保管しておくと、半年後に開いたときに、どの元のモデルに載るのかを試して確かめるところから始まります。

作り直しの範囲を、はっきり分けておきます。作り直しになるのは部品そのものだけです。問いと答えの対、封をした判定の組、採点の物差し、当てた層とランクの記録——この四つは残ります。材料と判定を資産として残しておけば、元のモデルが変わっても、同じ材料でもう一度回すだけで済みます。

逆に言うと、材料と判定を残していない組織は、元のモデルが変わるたびに最初からやり直します。一回目を「とりあえず動かしてみる」で進めると、ここで差が付きます。最初の試しの時点から、材料と判定に版を付けて保管しておきます。

一枚の計算機に載せる形と、そこで受け入れている条件

計算機をさらに小さく収める方法も、2023年5月に公開されています。元のモデルを4ビットに圧縮したまま凍結し、その上に小さな部品を載せて学習するという組み合わせです。論文では、650億個の数値を持つモデルを48ギガバイトのGPU1枚で学習でき、16ビットで学習した場合の性能を保てたと報告されています。

中身として挙げられているのは三つです。4ビット向けに設計された新しい数値の型、圧縮に使う値そのものをもう一度圧縮する二重の圧縮、そして記憶領域が一時的に跳ね上がる場面をならす仕組み。計算機の記憶領域という、いちばん詰まりやすい場所を狙って外した組み合わせです。

実務で効くのは、費用よりも回数です。一枚の計算機に収まると、借りる手続きも順番待ちも短くなり、試す回数を増やせます。追加学習は一回で当たるものではなく、材料を直しては回す作業なので、回数を増やせることがそのまま結果に効きます。

受け入れている条件も書いておきます。圧縮した状態で学習するため、同じ設定なら必ず同じ結果が出るとは限らず、出し方にも制約が付きます。自社の機材で何が動くのかは、持っている計算機で決まります。世に出ている報告をそのまま自社に当てはめず、最初の一回は手元の機材で確かめます。

社内の誰が持つ仕事になるのか

追加学習を回す仕事は、三つに割れます。材料と判定、学習と配信、記録です。このうち材料と判定は、業務側にしか作れません。どの書き方が正かを決められるのは、その文書を実際に書いてきた人だけだからです。

学習と配信は、情報システム部門か、外部に委ねる形になります。計算機の確保、学習の実行、出来上がった部品の配置。ここを業務側が抱え込むと、材料を作る人がいなくなって止まります。逆に、情報システム部門が材料まで作ろうとすると、正が決められずに止まります。止まり方が違うだけで、どちらも止まります。

三つ目の記録は、どちらか一方に必ず置きます。元のモデルの版、部品の版、材料の版、判定の結果——この四つを一か所にまとめる担当を決めないと、半年後に誰も再現できません。外部に委ねる場合は、この四つを納品物に含めるかどうかを、契約の前に確かめます。

体制としては、業務側から一人、情報システム側から一人の二人から始められます。最初の試しに大きな体制は要りません。ただし二人とも、他の仕事の片手間ではなく、判定の回に必ず立ち会える人にします。判定に立ち会わない担当が名前だけ載っている体制図は、二回目の試しで機能しなくなります。

小さく試すときの打ち切り条件を、始める前に書く

追加学習の試しがいちばん壊れるのは、失敗したときではなく終わらないときです。少し良くなった気がする、もう一回材料を足せば届きそうだ、という往復が続きます。始める前に、次の五つを紙に書いておきます。

五つ目が実際にいちばん効きます。やめる条件が紙にあると、打ち切りが個人の判断ではなくなります。書いていないと、言い出した人が撤退を切り出す形になり、結局誰も切り出せません。

打ち切ったときに何が残るのかも、先に決めておきます。問いと答えの対、判定の組、採点の物差しは、打ち切っても資産として残ります。この三つは、別のやり方に切り替えたときにもそのまま使えます。「試して駄目だった」ではなく「材料と判定が手に入った」で終われる形にしておくと、次の提案が通りやすくなります。

先に決めずに始めた試しが、どう終わるか

失敗の形には、はっきりした型があります。どれも、始める前に決めていれば避けられたものです。

• 直したい出力を絞らずに始める：書式も分類も言い回しも同時に直そうとして、どれが効いたのかを判定できない
• 学習に使った材料で採点する：点は必ず上がるが、実務で使い始めると下がる
• 比べる相手を置かない：指示文を整えるだけで済んだ案件に、計算機の費用を払い続ける
• ランクを上げれば良くなると考える：重くなるだけで、判定の点が動かない回が増える
• 元のモデルの版を書かずに部品だけ保管する：更新の日に、どの部品が載せ直しなのかを誰も言えない
• 材料と判定を外部に預けたまま終わる：次に別の会社へ発注するとき、材料の作成からやり直しになる

この中で回復が効かないのは、最後の二つです。部品は作り直せますが、材料と判定は作り直しに人手と時間がかかります。契約の段階で、材料・判定の組・採点の物差し・記録の四つを自社に残す、と書いておきます。

二つ目の「学習に使った材料で採点する」も、社内の報告では見抜かれにくい失敗です。点が上がった報告書は通ってしまい、現場で使い始めてから戻ってきます。判定の組を封をした日と件数を報告書に必ず書く決まりにしておくと、この一つは防げます。

AIに任せてよい工程と、人が決める工程

追加学習の準備には、機械的な作業が大量に含まれます。過去の文書から対の候補を起こす、表記のばらつきを洗い出す、材料の中で矛盾している組を見つける、判定の一次採点の下書きを作る——このあたりはAIが速く、人だけでやると数週間かかるものが数日で形になります。

一方で、正がどれかの決定、合格の線、やめる条件、外に出してよい材料かどうかは人が決めます。どれも、文書には書かれていない事情で決まるからです。材料の選別をAIの出力だけで済ませると、なぜその書き方を正としたのかを後から誰も説明できません。決めた人と決めた日を、決定そのものと一緒に残します。

• 対の候補をAIに起こさせたら、元の文書のどこから取ったかを必ず書かせ、人が突き合わせる
• 正がどれかの決定はAIの出力を根拠にしない。決めた人と決めた日を残す
• 判定の一次採点は下書きまで。合格の線は人が引き、抜き取りで人が採点し直す
• 外に出してよい材料かどうかの判断は、学習を始める前に人が済ませる

もう一つ。AIは「この材料で追加学習すべきか」を判断できません。その判断には、直したい出力の業務上の重さ、指示文で済むかどうか、予算と期限が入ります。聞けば答えは返ってきますが、返ってきた答えの根拠に自社の事情は入っていません。

よくある質問

ランクは大きいほど良くなりますか

大きくすれば表現の幅は広がりますが、判定の点が上がるとは限りません。ランクを上げると重くなり、効きの強さを決める係数との組み合わせも変わります。公式のドキュメントにも推奨値は書かれていません。最初は小さく始めて、判定で足りないと分かってから上げる順番にしてください。

作った部品は、別のモデルにも使い回せますか

そのままでは載りません。部品は元のモデルの層の名前と幅に合わせて作られているため、形が合わなければ載せられないからです。使い回せるのは部品ではなく、問いと答えの対と判定の組のほうです。ここを資産として持っておけば、別のモデルでも同じ材料で作り直せます。

元のモデルを自社で持っていなくても試せますか

提供元の条件で決まります。追加学習が許されているか、学習した部品を自社で保管できるか、作った部品が他の利用者と共有されないか。この三つを契約や利用条件で先に確かめてください。技術の検討より先に片が付いてしまう場合があります。

うまくいかなかったとき、次に何を動かせばよいですか

材料、当てる層、ランクの順に見ます。材料の対が少ない、あるいはばらついている場合は、ランクを動かしても点は変わりません。材料を直しても動かないときに当てる層を広げ、それでも動かないときにランクを触る。この順番にしておくと、原因を一つずつ潰せます。

まとめ

LoRAを試す前に決める条件は、何が軽くなるのかを取り違えないことと、判定の組・比べる相手・やめる条件の三つを先に紙に書くことの二つです。元のモデルを書き換えず、小さな部品だけを学習させるので、計算と保管は確かに軽くなります。軽くならないのは、問いと答えの対を作る仕事と、良くなったかを判定する仕事と、元のモデルが入れ替わったときの作り直しです。この三つを誰が持つのかを決め、材料と判定を自社に残す形にしておけば、一回目の試しが打ち切りに終わっても次につながります。まずは、直したい出力を一種類に絞って書き出すところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。