【2026年】小規模言語モデルの使い分け｜大きいAIと分ける線

「小さいモデルのほうが安いと聞いたのですが、うちのどの業務に当てればいいのか分かりません」「試しに動かしてみたら、思ったより答えが浅くて、そこから止まっています」——AIの導入を進めている情報システムの部署で、2026年に入ってから増えた相談です。これはモデルの性能をどう測るかという問題ではありません。先に仕分けるのは、モデルではなく業務のほうです。この記事では、手元の業務を小さいモデルと大きいモデルのどちらに置くかを、4つの軸で決めるやり方を整理します。

「安いほうを試す」から入ると、置き場所が決まらないまま止まる

小規模な言語モデルへの関心が急に高まったのは、費用の話からです。同じ処理を大きいモデルに投げ続けると利用料が積み上がる。だから軽いほうへ移そう、という順番で検討が始まります。ところが実際に動かしてみると、返ってくる答えが思ったより浅い。そこで「まだ使えない」という結論が出て、検討そのものが止まります。止まる原因はモデルの側ではなく、当てる業務を決めないまま試したことにあります。

総務省の令和7年版情報通信白書では、生成AIの活用方針を策定している企業の割合は2024年度調査で49.7パーセント、2023年度調査の42.7パーセントと比べて増加したと報告されています。一方で、導入が進まない理由の上位には「実用的な活用方法がわからない」が挙がっています。方針は決まっているのに当てどころが決まらないという状態は、統計の側からも見えています。同じ白書では、大規模な企業に比べて中堅・中小の企業に遅れが見られることも示されています。

だから最初に手を付けるのは、モデルを比べることではありません。手元の業務を並べ、どれが狭い仕事でどれが広い仕事かを仕分ける作業です。この仕分けさえ済めば、どちらに置くかはほぼ自動的に決まります。以降では、仕分けに使う4つの軸を順に開いていきます。

大小の差は性能の順位ではなく、守備範囲の広さ

小規模と大規模の違いは、たいてい規模の数字で説明されます。小さい側は数億から数百億、大きい側は数千億から数兆といった具合です。ただ、この数字を覚えても業務の割り当てには使えません。実務で効いてくるのは、同じ形の問いを何度も繰り返せるかどうかと、初めて見る形の問いに耐えられるかどうかの差のほうです。

小さいモデルは、あらかじめ形の決まった問いに強く出ます。文書を5種類のどれかに分ける、決まった項目を抜き出す、短い文を決まった長さにまとめる。こうした仕事なら、規模の小さいモデルでも大きいモデルに近い答えを返します。差が開くのは、前提が長く、条件が入り組み、言い回しの幅が求められる問いに変わったときです。差の出る場所は決まっているので、先に知っておけば試す順番を間違えません。

つまり、どちらが優れているかという問いの立て方が、そもそも噛み合っていません。立てるべき問いは、この業務で扱う問いの形が決まっているかどうかです。形が決まっている仕事に大きいモデルを当て続けると、費用の面で無駄が出ます。形が決まっていない仕事に小さいモデルを当てると、品質の面で無理が出ます。いま起きているのが無駄なのか無理なのかで、動かす方向が決まります。

軸1　答えの幅が決まっているか

1つ目の軸は、その業務で返ってくる答えの幅です。分類のように、返ってくるものが最初から数種類に限られている仕事は幅が決まっています。逆に、調査の要約や提案文の下書きのように正解が1つに定まらない仕事は幅が広い。幅が決まっている仕事ほど、小さいモデルで足ります。

幅が決まっているかどうかには、簡単な見分け方があります。出てきた答えを人が受け取ったとき、合っているか間違っているかをその場で言い切れるかどうかです。問い合わせを5つの部署のどれに回すかは言い切れます。この提案文が良いかどうかは言い切れません。言い切れる仕事は小さい側、言い切れない仕事は大きい側という線引きが、いちばん外れにくくなります。

注意したいのは、幅が決まっている仕事のなかにも境目の難しいものが混ざる点です。どの部署にも当てはまらない問い合わせ、2つの部署にまたがる問い合わせ。こうした例は、数は少なくても必ず出ます。ここを小さいモデルに無理やり決めさせると、間違いが静かに積み上がります。境目のものを決めずに返せる作りにしておくことが、この軸を使うための条件になります。

軸2　入力に、社外へ出せないものが混ざるか

2つ目は入力の中身です。外部のサービスに送る形で使う場合、送った内容はそのまま社外に出ます。契約書の原文、人事の記録、まだ公表していない数字。これらが混ざる業務では、費用の話をする前に置き場所の話になります。手元や社内の環境で動かせることが、小さいモデルを選ぶ最も強い理由になるのは、この軸のときです。

ただし、機密が混ざるから全部を手元に、という結論には直結しません。混ざるのが入力の一部なら、その一部だけを外に出さない作りで済むことがあります。固有名詞と数字を伏せてから送る、社内にある情報の検索だけを手元で行い、文章にまとめる作業は外に出す。全部を移すか全部を出すかの二択で考えると、判断が重くなります。工程ごとに切ってください。

併せて確かめたいのが、外部のサービス側の設定です。入力が学習に使われない設定になっているか、記録がどれくらいの期間残るか、処理を別の事業者に再委託していないか。この3点はモデルの大小とは別の話ですが、社外に出せない情報の扱いを決めるときには必ず同じ表に並びます。ここを確かめないまま大きいほうが賢いからで選ぶと、後から置き場所ごとやり直しになります。

軸3　どれだけ待てるか

3つ目は時間です。人が画面の前で待っている仕事と、夜間にまとめて流しておけばよい仕事とでは、求められる速さがまるで違います。前者は1秒単位で体感が変わり、後者は数時間の幅があっても困りません。待てる仕事ほど、遅くて安いほうに寄せられます。

この軸は、小さいモデルを選ぶ理由にも、選ばない理由にもなります。手元の端末で動かせば通信の往復が消えるので、応答は速くなります。一方で、社内の機材が非力なら、規模の大きいモデルを外部で動かすより遅くなることもあります。速さは規模ではなく、どこで動かすかと機材で決まります。規模の数字だけを見て速さを期待しないでください。

実務では、待ち時間を秒数ではなく「誰が待っているか」で分けると決めやすくなります。顧客が待っている、社内の担当が待っている、誰も待っていない。この3つに業務を割り振ると、速さに費用を払う値打ちのある業務が自然に絞り込まれます。誰も待っていない業務にまで速さを求めた設計は、費用だけが増えて成果が変わりません。

軸4　件数が効いてくるか

4つ目は回数です。1日に10件しか発生しない業務では、1件あたりの費用差は総額にほとんど響きません。ところが1日に1万件発生する業務では、同じ差が毎月の請求に直接出ます。件数の多い業務ほど、小さいモデルへ移す値打ちが大きくなります。

ここで見るのは、いまの件数だけではありません。使われ始めると件数は増えます。社内の別の部署が同じ仕組みを使い始める、対象の書類の種類が増える、過去の分をさかのぼって流す。件数は、うまくいったときに跳ね上がります。いまの10倍になっても成り立つかどうかで見てください。10倍で成り立たない設計は、成功した時点で止まります。

逆に、件数が少なく、増える見込みもない業務は、小さいモデルへ移す手間のほうが高くつきます。移すには、試して、測って、入れ替えの段取りを作る工程が要ります。月に数百件の処理のためにこの工程を踏むと、節約した利用料を人件費が上回ります。件数の少ない業務は、外部の大きいモデルに投げたままにしておくほうが合理的です。

4つの軸を1枚に置き、手元の業務を仕分ける

軸がそろったところで、手元の業務を1枚の表に置いてみます。軸ごとに当てはまるかどうかを見て、当てはまる軸が2つ以上あれば小さい側の候補、1つ以下なら大きい側に置いたままという粗い線で構いません。最初から精密に決めようとすると、表が埋まる前に検討が止まります。

判断の軸	小さい側に寄る業務	大きい側に残る業務	見分けるときの問い
答えの幅	振り分け・分類・決まった項目の抜き出し	提案文の作成・調査の要約	出てきた答えの正誤を、その場で言い切れるか
社外に出せない情報	契約書・人事記録・未公表の数字を扱う	公開されている情報だけで完結する	入力をそのまま外部へ送れるか
待てる時間	画面の前で人が待っている	夜間にまとめて流せる	待っているのは顧客か、社内の担当か、誰もいないか
件数	1日に千件を超える、または今後10倍になり得る	月に数百件で頭打ち	件数が10倍になっても成り立つか

表を埋めると、たいていは想定と違う結果が出ます。いちばん節約になると思っていた業務が大きい側に残り、誰も注目していなかった単純な振り分けの処理が小さい側の筆頭に来る。節約の額は1件あたりの費用差ではなく件数で決まるからです。目立つ業務ではなく、数の多い業務から並べ直してください。

この表は一度作って終わりにせず、半年ごとに置き直すものとして扱ってください。業務は増え、件数は変わり、使えるモデルの選択肢も入れ替わります。前回この業務を大きい側に置いた理由が書いてあるかどうかが、置き直すときの速さを決めます。理由を残していないと、毎回ゼロから議論をやり直すことになります。

小さいモデルが向く仕事を、業務の言葉で挙げる

軸の話を、実際の業務名に落とします。小さいモデルが安定して成果を出すのは、次のような仕事です。いずれも、入力の形と出力の形があらかじめ決まっているという共通点を持ちます。

• 問い合わせの振り分け：受け取った文面を、すでに決まっている数種類の担当先のどれかに割り当てる
• 書類からの項目の抜き出し：日付・金額・相手先といった、どこに書いてあっても意味の変わらない項目を取り出す
• 定型の下書き：受領の連絡、日程の案内など、社内で文面の型が決まっている文章の一次案を作る
• 短い文の要約：問い合わせ1件、報告1件といった短い単位を、決まった長さにまとめる
• 社内の呼び名のそろえ方：同じものを指す複数の呼び名を、決めた呼び名に置き換える

5つに共通するのは、人が結果を見て正誤を言い切れることです。言い切れるということは、間違いを数えられるということでもあります。数えられれば、モデルを入れ替えたときに良くなったのか悪くなったのかが分かります。ここが、小さいモデルを業務に組み込むときの最大の利点です。

逆に言えば、この5つに当てはまらない業務から始めると、良し悪しを判断する材料が手に入りません。測れない業務から始めると、続けるか止めるかの判断を誰もできなくなります。最初の1つは、退屈に見えても測れる業務を選んでください。

向かない仕事も、形がはっきりしている

向かない側も、ぼんやりした基準ではありません。はっきり形があります。1つ目は、前提の長い調べ物です。社内の規程、過去のやりとり、業界の慣行といった長い材料を踏まえたうえで答える仕事では、途中の条件を取り落とす形で崩れます。落とした条件は答えの中に現れないので、読んだだけでは気づけません。

2つ目は、言い回しの幅が要る文章です。相手や場面に応じて言い方を変える、断りの文面をやわらげる、同じ内容を別の角度から言い直す。こうした仕事では、返ってくる文が単調になります。単調さは一読して分かりにくいので、社外に出す文章では、気づかないまま質が下がっていく形の失敗になりやすいところです。

3つ目は、判断の理由を説明させる仕事です。なぜその結論になったのかを書かせると、もっともらしい理由が返ってきます。ただしその理由は、実際に結論を導いた道筋とは限りません。これは大きいモデルでも同じですが、小さいモデルでは食い違いが出やすくなります。理由を根拠に人が判断する場面では、モデルの規模を上げるより、確かめる工程を人の側に置くほうが確実です。

混ぜて使う形：まず小さい側で受け、必要なものだけ上げる

現実の業務は、向く仕事と向かない仕事がきれいに分かれていません。1つの業務のなかに、簡単な問いと難しい問いが混ざっています。そこで採られるのが、入ってきたものをまず小さいモデルで受け、自信を持って答えられないものだけを大きいモデルに回す形です。

この形の利点は、費用と品質を一度に扱える点にあります。全体の大半が簡単な問いなら、大きいモデルに届く件数は一部で済みます。全件を大きいモデルに投げる形と、全件を小さいモデルで処理する形の、どちらの欠点も避けられる配置です。ただし、うまくいくかどうかは振り分けの精度に全面的に依存します。

落とし穴は3つあります。振り分けそのものに時間がかかって全体が遅くなること、上げる条件が緩すぎて結局ほとんどが大きい側に流れること、そして逆に厳しすぎて品質の低い答えがそのまま出ていくこと。3つとも、上げる合図を決めていないときに起きます。次の節で、その決め方を見ます。

上げる合図を、感覚ではなく条件で決める

上げるか上げないかを、そのつどの感覚で決めることはできません。仕組みとして動かす以上、条件を先に書き出し、あとから数えられる形にしておく必要があります。次の4つの順で決めると、決め直しが起きにくくなります。

4つのうち最も効くのは3つ目です。上げなかったものを誰も見ていない仕組みは、うまく動いているように見えたまま劣化します。上げた件数は自然に目に入りますが、上げなかった件数は目に入りません。見えないほうに確認を置くのが、この形の要点です。

併せて、大きい側に回した結果を小さい側へ戻す道も考えておいてください。同じ種類の問いが繰り返し上がっているなら、その種類だけを小さい側で扱えるようにする余地があります。上げた理由の記録は、そのまま次に手を入れる場所の一覧になります。記録を取っていないと、この余地は見つかりません。

費用は利用料では決まらない。残るのは入れ替えと見張りの手間

費用の比較が、利用料の単価だけで行われることがあります。しかし小さいモデルを自社側で動かす形に移すと、利用料の代わりに別の費目が立ちます。機材、電力、そして人の時間です。人の時間は見積もりに出てこないぶん、後から効いてきます。

人の時間がいちばんかかるのは、入れ替えのときです。使っているモデルには新しい版が出ます。版が変わると、同じ入力に対する答えが変わります。入れ替えるたびに、同じ入力で前後を比べる工程が必要になります。この工程を作っていないと、入れ替えられないまま古い版を使い続けることになり、選んだ理由そのものが薄れていきます。

もう1つは見張りです。小さいモデルは、想定の外にある入力が来たときに、黙って的外れな答えを返します。止まってくれるなら気づけますが、止まらずに間違えるので気づけません。だから定期的に抜き取って確かめる工程が要ります。解説によっては、自前で動かす形が安くなるのは処理量が相当に大きい場合に限られ、量が少ないうちは逆になる、という分岐が示されています。判断のときは、利用料のほかに、この2つの工程にかかる人の時間を必ず並べてください。

選び方でよくある失敗

ここまでの内容を裏返すと、失敗の型が見えてきます。次の5つは、検討の入口で方向を間違えているために、どれだけ手を尽くしても成果が出ない進み方です。

• 費用の削減だけを理由に選ぶ：削減の見込みは件数で決まるのに、件数を数えずに単価だけで判断している
• 公開されている点数の比較から入る：自社の業務の入力で測っていない点数は、置き換えの根拠にならない
• いちばん難しい業務から試す：最初の試行で結果が出ず、検討そのものが止まる
• 使ってよい条件を読まずに決める：商用で使えるか、利用できる人数に制限があるかは、モデルごとに違う
• 入れ替えの段取りを作らずに本番へ入れる：新しい版が出た時点で、動かせないまま古い版が残る

3つ目は善意から起きます。いちばん困っている業務から手を付けたい、という発想です。ところが難しい業務は、小さいモデルがもっとも苦手とする形をしていることが多い。最初の1つは、成果の大きさではなく測りやすさで選ぶほうが、結果として早く広がります。

4つ目は、公開されているモデルを使うときに特に効いてきます。誰でも取得できることと、自社の業務で自由に使ってよいことは別です。使ってよい条件は、動かし始める前に読んで、読んだ人と読んだ日を残してください。後から確認しようとすると、すでに業務へ組み込まれていて引き返せなくなります。

判断はモデルに渡さない。根拠と確認の範囲を先に決める

小さいモデルは速くて安いぶん、気軽に業務の判断そのものを任せたくなります。ここが分かれ目です。任せてよいのは決まった形に整える作業までで、その結果をもとに何かを決めることではありません。規模が小さいほど、間違いに気づきにくい形で返ってくるからです。

具体的には、次のような線を先に引いておきます。どれも動かし始めてからでは決められません。

• 分類や抜き出しの結果を、そのまま次の処理へ流さない。人が見る割合を先に決め、その割合は件数が増えても下げない
• なぜその結果になったのかを1行で書かせ、書かれた根拠と入力を人が突き合わせる。根拠が入力の中に無いものは採らない
• 迷ったときに決めないと返せる選択肢を必ず用意する。無理に1つ選ばせると、間違いが静かに混ざる
• 社外に出せない情報を入力に含めるときは、動かす場所と記録の残り方を先に確認する
• 入れ替えのたびに、前の版と同じ入力で結果を比べる。比べるための入力の一式は、業務の側で持っておく

5つに共通するのは、人が確認する範囲を、件数が増える前に決めておくという点です。件数が増えてから決めようとすると、確認は必ず省かれます。最初に狭く決めた確認は続きますが、最初に広く決めた確認は数か月で消えます。狭くてもよいので、消えない形にしてください。

導入の順番と、誰が何を決めるか

最後に体制の話です。小さいモデルの導入は、情報システムの部署だけでは完結しません。どの業務に当てるかを決めるのは業務の側、置き場所と入れ替えを決めるのは情報システムの側という分担になります。この分担が書かれていないと、検討は技術の比較に偏り、当てどころが決まらないまま長引きます。

順番は、業務の仕分け、試す業務を1つ選ぶ、測る材料を作る、動かす、比べる、の5段です。このうち飛ばされやすいのが3番目です。測る材料とは、実際の業務から取った入力と、人が付けた正しい答えの組を指します。この一式が無いと、良くなったかどうかを誰も言えません。数十件で構わないので、動かす前に作ってください。

決裁の側が見るべき数字も、単価ではありません。見るのは、当てる業務の件数、人が確認する割合、入れ替えの想定回数の3つです。この3つが書かれていない提案は、費用の見通しが立たないまま承認を求めているのと同じです。逆にこの3つがそろっていれば、規模の選択は技術の議論ではなく業務の議論として進みます。

よくある質問

手元の機材で動かさないと、小さいモデルを選ぶ意味はありませんか

そうとは限りません。外部のサービスで小さい側のモデルを選べる場合も多く、件数の多い処理では単価の差がそのまま効きます。手元で動かす理由は、入力を社外へ出せない場合と、通信が不安定な場所で使う場合の2つに絞られます。この2つに当てはまらないなら、まず外部で小さい側を選び、件数の効果だけを先に確かめるほうが、始めるまでが早くなります。

規模の大きいほうを選んでおけば、間違いは少ないのではないですか

間違いは減りますが、費用と速さは悪くなります。そのうえで問題なのは、間違いが減ったかどうかを測っていない場合です。測っていなければ、大きいほうを選んだ判断が正しかったかどうかも分かりません。数十件でよいので自社の入力で比べてから決めてください。比べる材料を作る手間は、規模を上げ続ける費用よりはるかに軽く済みます。

社内に詳しい人がいません。どこから始めればよいですか

業務の仕分けから始めてください。この記事の4つの軸は、技術の知識が無くても埋められます。埋めた表を持って外部に相談すると、話が「どのモデルがよいか」ではなく「この業務をどう回すか」から始まります。技術の選定を先に外へ出すと、自社の業務に当てはまるかどうかを判断する材料が社内に残りません。

一度決めた割り当ては、どのくらいの周期で見直すべきですか

周期そのものより、見直す合図を決めるほうが効きます。件数が2倍になった、使っているモデルの新しい版が出た、確認で見つかる間違いが増えた。この3つのどれかが起きたら見直す、という決め方にすると、変化のない時期に無駄な議論をしなくて済みます。合図が1つも起きない期間が半年続いたら、そのときに一度だけ表を見直してください。

小さいモデルに移したあと、答えの質が落ちていないか心配です

心配を数字にしてください。移す前に、同じ入力で人が答えを付けた一式を用意し、移した後に同じ入力を流して比べます。結果が同等なら心配は解消されます。同等でないなら、どの種類の入力で落ちているかが分かるので、その種類だけを大きい側へ戻せます。感覚で心配し続けるより、比べる工程を1回置くほうが早く片が付きます。

まとめ

小規模な言語モデルを業務に当てるかどうかは、モデルの比較ではなく業務の仕分けで決まります。答えの幅が決まっているか、社外へ出せない情報が混ざるか、どれだけ待てるか、件数が効いてくるか。この4つを手元の業務に当てて、2つ以上が当てはまるものを候補にしてください。表は半日で埋まります。そのうえで、測れる業務を1つ選び、人が答えを付けた数十件の一式を作ってから動かす。始める前に測る材料を作るかどうかが、続くかどうかを決めます。費用は利用料では終わらず、入れ替えと見張りの手間が残り続けます。この2つを誰が持つかまで決まって、はじめて割り当ての話が実務になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。