【2026年】ローカルLLMの実力｜手元で動かす条件

「外に出せない資料があるから、生成AIは使えないと情報システム部門に言われた」「手元の機械で動かせば無料だと聞いたので、それで進めたい」。生成AIの持ち込みを検討している部署から、正反対の方向に振れた声が同時に届きます。前者は手元で動かす選択肢を知らず、後者は運用の重さを見ていません。手元で動かすかどうかは、無料か有料かの話ではなく、どの仕事がどの規模のモデルで成り立つかの話です。この記事では、手元で動かすという言葉が指す3つの意味を分けたうえで、2026年の小さなモデルで成り立つ仕事と届かない仕事、必要な機材、待ち時間、そして端末に配って回す場合の管理を順に整理します。

「手元で動かす」には3つの意味がある

最初に言葉を分けます。同じ「手元で動かす」という言い方で、実際には3つの違うものが語られています。1つ目は社員が使っている端末そのものの中で動かす形。2つ目は社内に機材を1台置き、皆がそこへ問い合わせる形。3つ目は外部の設備の一部を自社専用に借りて、そこで動かす形です。

違いが出るのは、要る機材と面倒を見る人です。端末の中で動かす形は追加の機材が要らない代わりに、台数分の管理が発生します。社内に1台置く形は機材の調達が必要ですが、保守の対象が1つに収まり、誰が面倒を見るかも明確になります。区画を借りる形は機材を買わずに専有できますが、社内から外へ出る通信が発生するため、情報システム部門の確認事項が変わります。

実務でこの3つが混ざると、話が噛み合いません。「手元で動かしたい」という要望が来たら、まずどの意味かを確かめてください。端末の中の話なら配布作業の相談になり、社内に1台の話なら機材の稟議になり、区画を借りる話なら契約と通信の相談になります。必要な手続きも進め方も、この段階で別れます。

2026年、小さなモデルはどこまで来たか

実力を数字で見ます。公開されている重みのモデルでは、120億パラメータ規模のものが前の世代の270億規模を上回る成績を出すところまで来ました。規模を半分以下に落として同じか上の成績です。16ギガバイトの記憶容量を積んだ機材で、日本語を含む多言語の要約や下書きが動く状況は、2023年時点では考えにくいものでした。

この変化を支えているのが、重みを粗く丸めて容量を圧縮する処理です。70億パラメータ規模のモデルは元の精度なら約14ギガバイトを要しますが、4段階に丸めると約4.7ギガバイトに収まります。2026年には丸めた状態でも多くの仕事で元の精度との差がほとんど分からない水準に達しました。容量が3分の1になれば、選べる機材の幅も一段広がります。

ただし上限もあります。小規模のモデルは数億から数十億パラメータの範囲にあり、知識の網羅性と込み入った推論では大きなモデルに届きません。敬語の細かい使い分けのような繊細な言い回しも、外部の大きなモデルが優位です。最新の大きなモデルと同じ性能が出る前提で計画を書くと、検証の段階で必ず止まります。実力を測る単位は成績表ではなく、任せる仕事の種類です。

規模ごとに、成り立つ仕事はここまで

では具体的に何が成り立つのか。規模の目安と一緒に並べます。30億規模以下でも短文の分類と表記の統一は動きます。80億規模になると議事メモの要約や定型の下書きが実務に乗り、120億規模あれば長めの文書の要約や区分の多い分類まで届きます。

• 外に出したくない文書の要約（80億規模から。商談メモ、通話の書き起こし、社内の報告）
• 決まった区分への分類（30億規模から。問い合わせの振り分け、自由記述の整理）
• 定型の下書き作成（80億規模から。案内文、議事の骨組み、資料の見出し案）
• 表記の統一と言い換え（30億規模から。社内の用語に合わせる、長い文を短くする）
• 件数の多い単純作業（規模より件数が効く。数百件を同じ基準でそろえる）

並べてみると共通点が3つあります。形が決まっていること、正解が社内の資料の中にあること、そして件数が多いことです。この3つがそろう仕事は、小さなモデルでも品質が安定します。逆にどれか1つでも欠ける仕事から始めると、初回の検証で「使えない」という結論になって終わります。

着手の順番としては、いま人が手作業でやっている中でいちばん件数の多いものを1つ選ぶのが確実です。件数が多ければ効果が数字で出ますし、同じ作業を何度も試せるので、指示文を直しながら精度を上げていけます。1件しかない大事な仕事から始めると、失敗した時点で評価が決まってしまいます。

まだ届かない仕事も、はっきりしている

届かない側も具体的に押さえておきます。ここを曖昧にしたまま社内に案内すると、期待値がずれたまま使われ始めます。

• 最新の情報が必要な調べもの：学習した時点より後のことは知らない。しかも知らないと言わずに答える
• 長い手順の推論：条件が3つ4つ絡む判断や、複数の段を踏む計算は落ちやすい
• 込み入った表の読解：行と列が入り組んだ資料の読み取りは、規模の差がそのまま出る
• 分野をまたぐ同時処理：法務と技術と会計を1つのモデルで賄おうとすると、どの分野でも精度が落ちる
• そのまま社外に出す文章：仕上げの品質は外部の大きなモデルに劣る

なぜ届かないのかは、それぞれ理由が違います。最新情報を知らないのは知識が配布時点で止まっているからで、これは規模を上げても直りません。推論と表の読解は規模の差がそのまま出る領域で、上の規模に上げると改善します。分野をまたぐ処理は、分野ごとに用意するか、その仕事は外に出すかの二択になります。

• 最新情報が必要な仕事は、外部のサービスか、社内資料を探して渡す仕組みと組み合わせる
• 長い手順の推論は、工程を分けて1手ずつにすると通ることがある
• 手元のモデルの答えを、そのまま社外に出す文書に使わない
• できなかった事例は記録に残す。次の入れ替えで直っているかを測る材料になる
• 案内文には「できないこと」を先に書く。期待値のずれは苦情ではなく利用停止として現れる

この線引きは一度決めて終わりではありません。数か月おきに公開されるモデルは能力が上がっているので、できなかったことの一覧を持っていれば、入れ替えの効果をその場で判定できます。逆に一覧がないと、入れ替えるたびに勘で評価することになります。

機材は演算性能ではなく、記憶容量で決まる

機材の選び方は、ほぼ1つの条件で決まります。動かしたいモデルが演算部品の記憶容量に収まるかどうかです。収まっていれば速く動き、あふれると2倍から10倍まで遅くなります。目安は10億パラメータあたり約0.6ギガバイトで、規模ごとに整理すると次のようになります。

モデルの規模	演算部品の記憶容量	本体メモリの目安	成り立つ仕事の例
10億〜30億	2〜3ギガバイト	8ギガバイト	短文の分類、表記の統一
40億〜70億	4〜6ギガバイト	16ギガバイト	議事メモの要約、定型の下書き
80億〜140億	6〜10ギガバイト	32ギガバイト	長めの文書の要約、区分の多い分類
270億〜320億	16〜22ギガバイト	32ギガバイト	複数資料の突き合わせ、下書きの品質向上
700億以上	40ギガバイト以上	64ギガバイト	外部サービスに近い水準を求める場合

表の数値は、重みを粗く丸めた状態が前提です。文脈を長く取る設定にすると必要な容量はさらに増えるので、長い資料を扱う予定があるなら1段上の容量を選ぶのが安全です。記憶装置の側も見落とせません。モデルを複数持って使い分けるなら、最低500ギガバイト、余裕を見て1テラバイトを見込みます。参考価格は、中古の12ギガバイト級で数万円、16ギガバイト級で約7万円、24ギガバイト級で約30万円、32ギガバイト級で約40万円が2026年時点の水準です。

調達で先に決めるのは、機材の型ではなく載せたいモデルの規模です。規模が決まれば必要な容量が決まり、容量が決まれば機材が1つか2つに絞れます。順番を逆にして機材から選ぶと、動かしたいモデルが載らないという事故が起きます。情報システム部門に相談するときも、伝えるのは製品名ではなく規模と容量です。

手元の業務用端末で足りるのは、どこまでか

新しい機材を買わずに始められる範囲を確かめます。メモリを16ギガバイト積んだ一般的な事務用の端末なら、70億パラメータ規模までは動きます。演算部品を積んでいない端末では毎秒1から3トークンまで落ちるので会話には向きませんが、短い文の分類や表記の統一なら実務に乗ります。

制約は3つあります。1つ目は記憶装置の空きで、モデル1つが4ギガバイトから8ギガバイトを占めます。2つ目は発熱と電池で、持ち出し用の端末で連続処理を回すと熱で速度が落ち、電池も持ちません。3つ目が他の業務ソフトとのメモリの取り合いで、表計算や会議のソフトを開いたままでは、想定した規模が載らないことがあります。

したがって端末で足りるのは、1件ずつ、短い文で、待てる仕事に限られます。件数のある処理や、複数人が同時に使う用途は、社内に置いた機材へ寄せるのが現実的です。まず端末で1週間試して任せられる仕事の一覧を作り、そこから機材の相談に入ると、稟議に書く根拠が実測になります。

実行環境は4系統。選び方で運用の重さが変わる

重みのファイルだけでは動きません。読み込んで動かす実行環境が別に要り、これが4系統に分かれます。画面付きで技術の知識がなくても扱える型、命令行が中心で他の仕組みから呼び出す前提の型、多人数の同時処理を前提にした本番向けの型、そして通信を一切しない設計を前面に出した型です。加えて、演算を助ける専用部品に対応した型では、部品を併用して3倍から5倍速くなったという報告があります。

選ぶ基準は2つに絞れます。1つは、外部サービスと同じ呼び出しの形に対応しているかどうかです。対応していれば、後から外部サービスに切り替えたり併用したりするときに、呼び出す側を書き直さずに済みます。もう1つは、面倒を見る人が誰かです。担当者が1人で検証するなら画面付き、業務として動かし続けるなら自動で復帰する本番向けの型になります。

ここで実務がつまずくのは、検証と本番で同じ環境を使おうとする点です。検証は画面付きの型で担当者が1人で回し、本番に乗せる段で別の型に載せ替えてよい。載せ替えの手間は、対応している呼び出しの形をそろえておけば小さく収まります。最初から本番向けの型で検証を始めると、環境を作る工程だけで数週間が過ぎます。

待ち時間から決める、待てる仕事と待てない仕事

速さは1つの数字では語れません。単位はトークン毎秒で、対話に使うなら毎秒5トークン出ていれば実用と言われます。一般的な事務用の中位の中央演算装置だけで動かした場合、38億規模で毎秒15から20トークン、80億規模で毎秒5から8トークンです。演算部品があれば、12ギガバイト級で毎秒20から40トークン、本体メモリを演算部品と共用する高性能なノート型では700億規模でも毎秒20から28トークンという実測が報告されています。

この数値は業務の計画に直せます。日本語では文字数と処理の単位数が近い水準になることが多いので、800字の要約を1件作るなら、毎秒8トークンの環境で1件あたり100秒前後という見当が付きます。300件なら8時間強で、金曜の夜に流せば月曜には終わっています。速さの要件は、体感ではなく締め切りから逆算して決めるほうが揉めません。

そのうえで、待てない仕事があります。来客の前で資料を探す、会議中に議事を要約する、問い合わせに一次返答する。この種の仕事は数十秒の待ちで使われなくなります。逆に、夜間にまとめる分類や下書きは何時間でも構いません。手元に寄せるのは待てる仕事から、が実務の順番です。同時利用の制約も同じ話で、1台で処理できるのは基本的に1件ずつなので、10人が同時に使えば後ろの人は待ちます。対話で使う窓口と、夜間にまとめて流す処理は、同じ機材に混ぜないほうが安定します。

いちばん見落とされる手間は、モデルの入れ替え

運用が始まってから重くなるのは、機材ではなくモデルの世代交代への追随です。新しいモデルが公開されても、手元で動く形に整うまでには数日から数週間のずれがあります。外部サービスなら公開当日に使えるところが、手元では待つ側になります。この時間差は、社内から必ず出てくる質問なので、あらかじめ説明できる状態にしておきます。

さらに面倒なのは、入れ替えると出力が変わることです。同じ指示文で同じ結果が出るとは限らず、分類の傾向も文体も動きます。すると指示文の作り直しと、社内向けの説明のやり直しが発生します。モデルを新しくすることが、そのまま品質の向上を意味しないのが、手元で動かす運用のいちばん厄介なところです。

実務の答えは頻度を決めることです。使う版を固定し、入れ替えは半年に1回まで、緊急時だけ例外にする。前の版はすぐ戻せるように残しておく。誰がいつ入れ替えるかを決めていないと、動いている環境を誰かが善意で更新してしまいます。許諾条件の確認も同じ人の仕事にします。モデルによって商用利用に利用者数や売上の上限が付いている場合があり、条件は世代ごとに変わります。

入れ替えるたびに測り直す仕組みを、先に作る

入れ替えの判断を勘で行わないための備えが、自社の評価セットです。手元で動かす前提の解説では、自社業務の問題を500件から1,000件そろえて実測することが繰り返し勧められています。最初から1,000件は難しいので、50件から始めて足していく形で構いません。手順は次の4段です。

この仕組みがあると、モデルの入れ替えが議論ではなく作業になります。測る材料を持たない組織では、入れ替えの是非が毎回声の大きさで決まります。評価セットは、手元で動かす選択を続けるための実質的な資産です。

端末に配るなら、版の揃え方と更新の配り方を先に決める

社員の端末それぞれにモデルを置く形を選ぶ場合、管理の項目が一気に増えます。誰の端末にどの版が入っているか分からなくなる、モデルのファイルが1つ数ギガバイトあるため記憶装置を圧迫する、更新を全員に届ける手段が要る、社外に持ち出した端末で処理した記録が社内に残らない、退職や交代のときに削除を確認できない。台数が増えるほど、これらは足し算ではなく掛け算で重くなります。配る前に決めておく項目は5つです。

1. 配る版を1つに決める：モデルの版、実行環境の版、指示文の版を組で固定する。3つのうち1つでも端末ごとに違うと、出力が違う原因が追えない
2. 更新の配り方を決める：いつ、誰が、どの手段で配るか。失敗した端末をどう見つけるかまで含める
3. 配る端末の条件を決める：メモリと記憶装置の空きの下限を満たす端末だけに配る。台数分を事前に調べる
4. 持ち出し時の扱いを決める：社外で機密文書を処理してよいか、記録は残るか。残らないなら残らない前提で範囲を狭める
5. 外す手順を決める：退職、交代、端末の入れ替えのときに、モデルと処理の履歴をどう消すか

版がばらつくと、何が起きるかは決まっています。同じ指示で人によって違う答えが出て、問い合わせが増えます。しかも問い合わせてくる本人は自分の版を知りません。「うちだけ出ない」の原因究明に、配布そのものより多くの時間が溶けます。だから配る版を1つに決めることが、他の4項目より先に来ます。

作業の進め方としては、1台で設定を作り込んでから複製して配るのが基本です。手作業で1台ずつ入れると、その場の判断で設定が変わり、初日から版がずれます。段階の踏み方も決めておきます。まず社内に1台置いて窓口経由で使わせ、記録と件数を集める。そのうえで、通信が使えない現場や持ち出しが多い部署に限って端末側に配る。最初から全社の端末に配るのは、管理の観点で最も高くつく順番です。

誰が面倒を見るかを、配る前に決める

端末に配る形でも社内に1台置く形でも、続けるかどうかを決めるのは担当の割り当てです。必要な役割は3つあります。入れ替えを測って判断する人、端末の設定と配布をする人、そして使う人からの問い合わせに一次対応する人です。兼任で構いませんが、役割ごとに名前を書いておかないと、どれも誰の仕事でもなくなります。

見積もるのは金額より工数です。入れ替えの判断には評価セットを流して結果を読む時間がかかり、配布には台数に比例した時間がかかり、問い合わせは利用者が増えるほど増えます。年間で何時間使うかを先に見積もり、その時間を誰の予定に入れるかまで決める。この作業を飛ばした導入は、半年後に更新が止まった状態で残ります。

外部に頼む場合の切り方も定石があります。最初の設定づくりと配布までは外部に任せ、日々の問い合わせと入れ替えの判断は社内に置く形です。逆にすると、社内で誰も中身を知らないまま契約が続きます。引き継ぎの条件として、設定の内容と配った版の一覧を文書で受け取ることを最初に決めておいてください。

外部のサービスとの役割分担を決める

実務ではどちらか一方に寄せず、併用が普通の形になります。役割の分け方は次のように整理できます。境目で迷う仕事は手元に寄せておくと、試行の回数を気にせず何度でも試せます。

1. 手元が担うもの：件数の多い分類と下書き、外に出したくない文書の要約、通信が使えない場所での処理
2. 外が担うもの：最新情報の調べもの、社外に出す文章の仕上げ、長い手順の推論と込み入った表の読解
3. 境目の仕事：どちらでも成り立つものは手元に寄せる。回数を気にせず試せるので、指示文を詰めやすい

ここで大事なのは、振り分けの判断をAIに任せないことです。この文書は外に出してよいかをモデルに判定させると、判定を誤った時点で外部に送信済みになります。判定は取り返しがつかない操作なので、どの業務のどの資料はどちらで処理するかを、人が表に書いて先に決めます。書き切れない例外は、外部に出さない側に寄せます。

使う人から見た入口は1つにまとめます。手元か外かを意識せずに同じ窓口から使える状態にしておく。入口が2つあると、面倒な側が使われなくなります。どちらで処理されたかは記録に残しておき、後から件数を突き合わせられるようにします。

手元で動かしても、確認の範囲は変わらない

最後に、いちばん誤解されやすい点を確かめます。外に出ないから安心という理由で、出力の確認をやめてしまう例が実際にあります。情報が外に出ないことと、答えが正しいことは何の関係もありません。むしろ小さなモデルは知識の網羅性で劣るため、誤りの頻度は外部サービスより高いと考えるべきです。

実務の備えは2つです。1つは、答えの根拠として使った資料の名前を必ず一緒に出させること。もう1つは、人が確認する対象を先に絞ることです。全部を確認すると決めるのは、確認しないのとほとんど同じです。確認するのは事実を含む記述だけにし、書き方や表現は確認の対象から外します。事実とは、社名と人名、金額と数量、日付、そして社外に出す文かどうかの4つです。

記録の設計も先に決めます。手元で動かす形は記録が残らない構成になりやすく、誰がいつ何を処理したかが分からないまま数か月が過ぎます。外部に出さない選択をした以上、社内で説明できる状態を自分たちで作る必要があります。窓口の側で日付と利用者と処理の種類だけを残しておけば、後から件数も追えます。

よくある質問

既存の業務用パソコンで試せますか

メモリが16ギガバイト積まれていれば、70億規模までは動きます。演算部品がない場合は毎秒1から3トークン程度になるので、会話には向きませんが、夜間に数十件をまとめて処理する用途なら成り立ちます。まず手元の1台で1週間試し、任せられる仕事の一覧を作ってから機材の話に進むのが順番です。

外部サービスと比べて、どれくらい性能が落ちますか

仕事の種類によって差が大きく、1つの数字では答えられません。決まった区分への分類や定型の要約なら差はほとんど出ませんが、最新情報の調べものや長い手順の推論では明確に劣ります。自社の実例を50件そろえて両方に流すのが、いちばん早い確かめ方です。

社内に詳しい人がいなくても運用できますか

最初の設定づくりだけ外部に頼み、その後は情報システム部門の担当者が兼任で見る形が多く取られています。ただしモデルの入れ替えと評価の測り直しは残るので、年間で何時間使うかを先に見積もっておくことをおすすめします。誰の時間も割り当てないまま始めると、半年で更新が止まります。

学習させて社内用に育てることはできますか

できますが、別の話として扱ってください。手元で動かすことと、社内データを覚えさせることは目的が違います。覚えさせても知らない事実が増えるわけではないため、社内資料に答えさせたいなら、資料を探して渡す仕組みと組むほうが近道です。

どの部署から始めるのが良いですか

通信が使えない現場を持つ部署か、外に出す判断に手間がかかる文書を毎月まとまった件数扱っている部署です。前者は手元で動かすこと自体が業務の要件になり、後者は件数の効果が数字で出ます。人数の多い部署から始めると、問い合わせの対応だけで手が埋まります。

まとめ

手元でモデルを動かす選択は、2026年に実務域へ入りました。まず言葉を分けます。端末の中で動かすのか、社内に1台置くのか、区画を借りるのか。この3つで要る機材も面倒を見る人も変わります。成り立つ仕事は、形が決まっていて、正解が社内の資料にあり、件数が多いものです。短文の分類と表記の統一は30億規模から、要約と定型の下書きは80億規模から、長めの文書は120億規模から届きます。届かないのは最新情報の調べもの、長い手順の推論、込み入った表の読解、分野をまたぐ処理です。機材は演算性能ではなく記憶容量で決まり、10億パラメータあたり約0.6ギガバイトを目安に規模から逆算します。16ギガバイトの事務用端末なら70億規模までは動きますが、記憶装置の空きと発熱と他のソフトとの取り合いで、1件ずつ待てる仕事に限られます。速さは締め切りから逆算し、待てない仕事は手元に寄せない。運用で重くなるのはモデルの入れ替えで、評価セットを50件から作り、合否の基準を測る前に決め、戻す条件を書いておく。端末に配るなら、配る版を1つに決め、更新の配り方と外す手順まで先に決めます。そして外に出さないことは、答えが正しいことを何も保証しません。根拠にした資料名を出させ、確認するのは事実を含む記述だけに絞る。まずは手元の1台で自社の実例を50件流し、任せられた仕事と落ちた仕事を書き出すところから始めてください。その一覧が、機材を選ぶときの仕様書になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。