LLMOpsとは何を回す仕事か？｜作った後に効く体制

「作るところまでは外の会社に頼んだのですが、そのあとを誰が見るのかが決まっていません」「動いているので、公開してから半年、特に何もしていません」——生成AIを業務に載せた会社の情報システム部門からは、この二つがほぼ同じ形で出てきます。けれども、手がかかるのは作っている間ではありません。効いてくるのは、止まっていないのに悪くなっていく変化を、こちらから毎週取りにいく仕組みがあるかどうかです。この記事では、作った後に残る仕事を評価・版・費用・当番の4つに割り、毎週当てる問いの束の作り方、版を入れ替えるときに比べる項目、費用が静かに増える形、当番表の組み方、そしてAIに任せてよい工程と人が決める工程までを順に整理します。

「作り終えたら手が空く」は、順番が逆になっている

見出しに置いた言葉は、機械学習の仕組みを動かし続ける仕事の呼び名に、大規模言語モデル向けの呼び名が加わったものです。日本語の訳し方はまだそろっていませんが、指しているものははっきりしています。作り終えた後に残る仕事のことです。作る側の話は、要件を決め、材料を集め、試し、社内に見せて、公開日を迎えるところで終わります。ところが仕組みの寿命のうち、作っていた期間は数か月で、使われる期間は年単位になります。手のかかる時間の長さが、そもそも違います。

これは思いつきの整理ではありません。総務省と経済産業省が令和7年3月28日に公表したAI事業者ガイドライン第1.1版は、AIを使う事業者を「AI利用者」と呼び、その役割を「AI提供者が意図している適正な利用を行い、環境変化等の情報をAI提供者と共有し正常稼働を継続すること又は必要に応じて提供されたAIシステムを運用する役割を担う」と定義しています。正常稼働を継続することが、使う側の役割として書き込まれているわけです。買って終わりの道具ではない、という前提が制度の側にもあります。

この記事は、作り方の手順書ではありません。作り終えた仕組みが手元にあり、「これから誰が、どの頻度で、何を見るのか」を決めなければならない人に向けて書きます。決めるべきことは多く見えますが、整理すると4つに収まります。評価、版、費用、当番です。次章で、この4つがそれぞれ何を問うているのかを置きます。

回す仕事は、4つに割ると担当が決まる

「運用をお願いします」という頼み方では、誰も動けません。何を見るのか、どこまで判断してよいのか、おかしいと思ったときに止めてよいのかが決まっていないからです。逆に、4つに割ってしまえば、それぞれに担当と頻度をつけられます。以下の4つが、作った後に必ず残る仕事です。

柱の1つめは評価です。問いは「先月と同じ問いに、同じ水準の答えが返っているか」。毎週決まった数の問いを当てて、答えの変わり方を見ます。2つめは版です。問いは「いま動かしているのはどの版で、いつまで使えるのか」。3つめは費用です。問いは「どの使い方に、いくら払っているのか」。4つめは当番です。問いは「誰が、何曜日に、どこを見るのか」。4つのうち3つまでは、道具を入れれば半分は自動になります。自動にならないのは当番だけです。

取りかかる順番も決まっています。評価が先で、当番が最後です。評価に使う問いの束がないと、版を入れ替えてよいかどうかを判断できず、費用が増えたときに「使い方が増えたのか、無駄に増えたのか」も分けられません。先に当番表を作っても、見るものがなければ形だけの会議になります。だから最初の2週間は、問いの束を作ることに使います。

止まった日の対応とは、別の仕事になる

作った後の困りごとには、壊れ方が2種類あります。一つは止まる壊れ方です。呼び出しが失敗する、権限が切れる、上限に当たる。これは気づけますし、当メディアにも記録から止まった理由をたどる記事と、止まった日にどう動くかの記事があります。そちらは、起きたことの後始末の話です。本記事が引き受けるのは、もう一つのほうです。

止まらない壊れ方は、外から見えません。先月と同じ問いに、少し違う答えが返るようになる。現場は最初、自分で直して使い続けます。静かに悪くなる原因は、大きく4つに分かれます。参照している元のデータが変わる。指示文が継ぎ足されて育ちすぎる。使っている道具やモデルの側が変わる。そして、使う人が増えて聞き方そのものが変わる。このうち2つめの「指示が育ちすぎる」は、社内で起こす自傷に近い。困りごとが出るたびに一行足していくと、半年で誰も全体を読めない指示文になります。

気づく仕組みそのもの、たとえば人が直した割合を数える方法や、出力の分布の端を見る方法は、当メディアの別の記事が扱っています。ここでは繰り返しません。本記事が答えるのは、その手前にある「仕事としてどう置くか」です。何本の問いを、誰が、いつ当てるのか。版を替える決めを誰が持つのか。費用の異常を誰が最初に見るのか。ここから先は、その割り方の話に絞ります。

柱1：毎週当てる問いの束を、どこから集めるか

評価を回すと決めたら、最初に作るのは問いの束です。作り方でつまずくのは、たいてい出どころを間違えたときです。きれいな例文を新しく書き起こすと、通ってあたりまえの問いばかりが並びます。集めるべきなのは、実際に起きたもの3種類だけです。実務でほんとうに来た依頼、過去に失敗した件、そして判断が分かれた境目の件。この3つで束を組みます。

実務でほんとうに来た依頼は、いちばん多い型を上から取ります。問い合わせの振り分けなら、上位の分類が全体の何割を占めているかを先に数え、その割合どおりに問いを混ぜます。過去に失敗した件は、直したあとも必ず束に残します。直したはずのものが戻っていないかを、毎週確かめるためです。境目の件は、人でも意見が割れたものを入れます。割れた件は、正解を1つに決めずに「どちらでも可」と書いておく。無理に一つへ寄せると、束そのものが現場の感覚とずれていきます。

何本にするかは、精度の理屈からではなく、「毎週回し切れる量」から決めます。採点に人が入るなら、1人が20分から30分で見終わる本数が上限です。そこから逆算すると、多くの現場では数十本の規模に落ち着きます。少ないと感じるかもしれませんが、毎週続く数十本のほうが、半年に一度の数百本より早く異変に当たります。続かない量を決めた時点で、その評価は数回で止まります。

問いの束は、足すより外すほうが難しい

運用を始めると、束は必ず増えます。困りごとが出るたびに問いを足すからです。半年もすると、当てるのに時間がかかりすぎて誰もやらなくなる。だから最初に、足す条件と外す条件の両方を決めておきます。足す条件は分かりやすい。現場から報告が来た件と、業務のやり方を変えた月に、その変更に関わる問いを足します。

外す条件は3つです。1つめは、業務そのものがなくなった問い。扱わなくなった商品や、廃止した申請の問いは、当たり続けても何も分かりません。2つめは、1年以上一度も外れていない問い。毎回通る問いは、異変を知らせる役に立っていません。半分に減らして残します。3つめは、正解が言えなくなった問い。担当が代わって、なぜその答えが正解なのかを説明できる人がいなくなった問いです。

正解の持ち主を決めておくことも、束の維持に効きます。問いの一覧には、答えの列だけでなく、「この答えを正しいと言える人」の列を持たせます。業務のルールが変わったとき、変えるのは仕組みの側だけではありません。正解の側も変えなければならない。ここが抜けると、ルール変更の翌月から評価が一斉に外れ、仕組みが壊れたと誤解されます。実際には正解が古いだけ、ということが起きます。

柱2：版を追いかけるか、固定するか

使っているモデルには版があります。そして版は、こちらの都合とは関係なく増えたり消えたりします。取れる構えは2つです。新しい版が出たら追いかける構えと、特定の版に固定して当分は動かさない構えです。どちらが正しいということはなく、代償の払い方が違うだけです。追いかければ、毎回の確認作業が発生します。固定すれば、確認は減りますが、期限を背負い込みます。

追いかける構えは、業務の中身が動いている場合に向きます。扱う商品や制度がよく変わる仕事では、新しい版のほうが素直に動くことが多いからです。ただし、入れ替えるたびに評価の束を当て直す約束が要ります。この約束がないまま追いかけると、「新しくしたら何かがおかしくなった。どこが変わったのか分からない」という状態になります。束がないと、比べる相手がいないのです。

固定する構えは、判断の重い業務に向きます。契約の文面や、社外に出す回答の下書きのように、答えのぶれが直接損失につながるものです。ここでは安定が優先されます。ただし固定は、期限つきの安定です。固定した版がいつまで使えるのかを、必ず日付で持っておく。次章で見るように、その日付は提供元が先に決めています。

提供終了は、日付で予告されて来る

モデルには一生があります。ある大手の提供元が公開している開発者向け資料（2026年9月4日時点）では、モデルの状態を4つに分けています。推奨されている状態、更新は止まったが使える状態、推奨されなくなり置き換え先と提供終了日が割り当てられた状態、そして提供が終わった状態です。3つめの段階に入った時点で、終わりの日付が決まります。

同じ資料は、公開済みのモデルの提供終了については、少なくとも60日前に通知すると書いています。実際の一覧を見ると、2026年6月5日に通知して同年8月5日に終了、2026年4月14日に通知して同年6月15日に終了、2026年2月19日に通知して同年4月20日に終了、という間隔です。そして提供終了日を過ぎたモデルへの要求は失敗する、とも書かれています。動いていたものが、ある日から急に通らなくなるということです。この60日を、確認と入れ替えに使うことになります。

だから版の管理は、技術の話ではなく予定の話です。台帳に、いま動かしているモデルの名前と、その提供終了の予定日と、通知の受け取り先を書いておく。同じ資料には、利用画面から使用状況を書き出せば、どの鍵がどのモデルを使っているかを確認できるとも書かれています。棚卸しの手段は用意されているのに、見る当番が決まっていない。これが実務でいちばんよくある穴です。通知の宛先が退職した人の連絡先のまま、という例も珍しくありません。

入れ替えのときに、何と何を比べるか

版を入れ替えるかどうかを、感触で決めてはいけません。「新しいほうが賢いらしい」で入れ替えると、特定の業務だけ静かに悪くなることがあります。比べる項目を先に決めて、同じ束の問いを、両方の版に当てて表にします。見るのは次の7つです。

比べる項目	何を見るか	落ちていたときに起きること
合っている割合	評価の束のうち、正解と一致した本数	現場が手直しを始め、報告が上がってこなくなる
外し方の質	外れた件が、惜しい外れか、まったく別の答えか	惜しい外れなら運用で吸収できるが、別方向は事故になる
書式の守り方	指定した項目名や区切りをそのまま返しているか	後ろの処理が止まる。件数だけ見ていると気づけない
答えの長さ	同じ問いに返す文字数の中央値	長くなると費用が増え、短くなると根拠が落ちる
返るまでの時間	1件あたりの所要時間の中央値と、遅い側の1割	画面の向こうで待つ業務では、平均より遅い側が効く
1件あたりの費用	入力と出力を合わせた1件の単価	件数が増える月に、予算が先に尽きる
断り方	答えられないときに、無理に答えず断れているか	断れないモデルは、それらしい嘘を返して現場を混乱させる

この表で大事なのは、右の列です。落ちたときに困る場所が、項目ごとに違います。合っている割合だけを見て入れ替えると、書式や断り方の後退を見落とします。そして後退は、合っている割合の数字には出てきません。7項目のうち、どれを下限として守るかは業務ごとに決めます。社外に出す文なら断り方が最優先で、社内の集計なら書式が最優先です。

柱3：費用は、単価表だけでは読めない

費用の見張りが後回しになるのは、単価表を見れば分かると思われているからです。実際には読めません。先の提供元が公開している価格表（2026年9月4日時点）では、あるモデルの入力が100万トークンあたり5ドル、出力が同25ドルで、出力の単価が入力の5倍に設定されています。この形は、他の階級のモデルでも共通しています。つまり「長く答えさせる使い方」は、単価表の見た目より高くつきます。

同じ価格表には、費用を下げる仕組みも書かれています。同じ前置きを繰り返し送る場合、それを一時保存しておく方式があり、書き込みは基本の入力単価の1.25倍から2倍、読み出しは0.1倍になります。急がない処理をまとめて流す方式では、入力も出力も5割引になります。どちらも、使い方を変えれば効くものです。逆に言えば、使い方を変えなければ効きません。契約を見直すより、送り方を見直すほうが下がる場合があります。

見張り方は、総額を追わないことから始めます。総額は、増えたことしか教えてくれません。分けるのは3つの軸です。どの業務の使い方か。どの版か。誰の操作か。この3つで割れていれば、増えた月に原因の当たりがつきます。割れていなければ、「先月より4割増えました」という報告だけが毎月上がってきて、誰も手が打てません。割り方は最初に決めておくものです。後からさかのぼって割ることはできません。

費用が静かに増える、5つの形

費用は、使う人が増えたときだけ増えるわけではありません。誰も何も変えていないのに増える形があります。先の価格表と、実際に起きる運用の変化を突き合わせると、次の5つが繰り返し出てきます。

• 渡す材料が伸びる：参照する社内資料が増え、1回あたりの入力が静かに膨らむ
• 道具を渡すだけで乗る：道具を1つ渡すだけで、その説明文として286から804トークンが毎回加わる。画面を操作する道具の一式では約4,500トークン、ブラウザを操作する道具の一式では約6,600トークンが乗る
• やり直しが増える：失敗して再実行した分も、丸ごと課金される
• 評価そのものの費用：毎週当てる問いの束も、当てるたびに費用がかかる
• 文字の刻み方が変わる：版を替えると、同じ文章でもトークンの数え方が変わる

5つめは見落とされやすいので、具体を置きます。先の提供元の資料は、新しい世代のモデルが新しい刻み方を使っており、同じ文章でおよそ30%多いトークンになると書いています。単価表の数字が下がっていても、刻みが増えれば請求は増えます。版を替えた翌月に費用が上がったとき、使い方が増えたのか、刻み方が変わったのかを分けられないと、原因を探しに行けません。入れ替えの記録に、切り替えた日付を残しておく理由がここにあります。

月次で見るときは、総額の前に1件あたりの単価を見ます。総額が増えていても、1件あたりが変わっていなければ、それは使われるようになったということです。歓迎してよい増え方です。1件あたりが上がっているなら、材料が伸びたか、道具が増えたか、刻み方が変わったかのどれかです。この2段階で見るだけで、毎月の報告が「増えました」から「こういう理由で増えました」に変わります。

柱4：誰が、何曜日に、どこを見るか

最後の柱が、いちばん落ちます。道具で自動になる部分がないからです。AI事業者ガイドラインは、アカウンタビリティの項で、AIの出力の誤り等について指摘を受け付ける機会を設けるとともに、「定期的かつ客観的なモニタリングを実施する」ことを挙げています。定期的、というのは曜日を決めるということです。曜日を決めない定期は、忙しい月に消えます。

頻度	見る人	見るもの	その場で決めてよいこと
週1回	業務側の担当	評価の束の結果と、外れた件の中身	外れた件を現場に戻すか、様子を見るか
週1回	情報システム部門の担当	費用の1件あたりの単価と、失敗した件数	上限に近い機能を一時的に絞るか
月1回	両者と業務の責任者	束の入れ替え、指示文の変更履歴、版の予定日	問いを足すか外すか、指示文を整理し直すか
版が動いた週	情報システム部門の担当	新旧の版に同じ束を当てた結果	入れ替えを進めるか、止めて元の版に戻すか
年1回	責任者と決裁者	業務のやり方の変化と、評価の物差しそのもの	対象の業務を広げるか、狭めるか、やめるか

表の右の列が、この当番表の要点です。見るだけの当番は続きません。その場で決めてよいことを先に書いておくと、会議が要らなくなります。とくに「止める権限」は明示しておきます。週1回の担当が、社外に出る出力を一時的に人の確認に戻せるかどうか。ここが上長の承認待ちになっている運用では、異変に気づいてから止まるまでに数日かかります。その数日で外に出た分が、いちばん高くつきます。

AIに任せてよい工程と、人が決める工程

回す仕事の一部は、AIに任せられます。任せてよいのは4つです。第一に、出力の突き合わせ。新旧の版の答えを並べて、意味が変わっている箇所を拾わせます。第二に、差分の一覧。指示文や参照資料が先月から何行変わったかを、変更点だけにして出させます。第三に、失敗例の分類。外れた件を、材料不足・書式崩れ・断れなかった、などの型に振り分けさせます。第四に、費用の集計。業務ごと・版ごとの合計と、1件あたりの単価を出させます。

人が決めるのは3つです。合格と不合格の基準を決めること。モデルを入れ替える判断。そして、止めるかどうかの決めです。この3つには共通点があります。いずれも、仕組みの外側にある事情で決まるということです。何割の正解率なら業務に出してよいかは、その業務で間違えたときの損失で決まります。入れ替えてよいかは、切り替え作業に人を割けるかで決まります。止めるかどうかは、止めた場合に誰が代わりに手を動かすかで決まります。どれも、モデルの中には答えがありません

運用に落とすときは、境目を文書にします。「突き合わせと一覧作りはAIに出させる。合格の線と入れ替えの決めは、月1回の場で人が決める」。この2行を運用の手順書に書いておくだけで、後から入った担当が迷わなくなります。ガイドラインも、アカウンタビリティの項で、こうした情報を「文書化して一定期間保管し、必要なときに、必要なところで、入手可能かつ利用に適した形で参照可能な状態とする」ことを挙げています。決めたこと自体を残すのも、回す仕事のうちです。

AIの出来をAIに採点させると、同じ癖で甘くなる

評価を回し始めると、採点も自動にしたくなります。実際、採点をAIに任せる方法はあり、当メディアにもその仕組みを扱った記事があります。ここで書くのは、運用に載せたときに何が起きるかのほうです。起きるのは、点が下がらないのに現場からの苦情が増える、という食い違いです。採点役にも癖があり、その癖は作る側と同じ系統のモデルを使ったときに強く出ます。

実際の運用では、次のような形で表に出ます。どれも、点数の表だけを見ていると気づけません。

• 点が毎週95点前後で動かないのに、現場が手で直した件数だけが増えている——採点役が、自分と似た言い回しを高く見ている
• 答えを長くしただけの版が、前の版より高い点になった——中身ではなく分量が点に効いている
• 2つの答えを比べさせると、いつも先に出したほうが選ばれる——順番を入れ替えて当てないと、この癖は見えない
• 採点役の版を替えた週から、全体の点が一斉に上がった——仕組みは何も変えていないので、動いたのは物差しのほう

対処は3つです。作る側と採点する側で、系統の違うモデルを使うこと。毎週の束のうち一部は、必ず人が読むこと。そして、採点役の版を替えた日を記録に残すこと。採点役を替えた週の点数は、前の週と比べてはいけません。物差しが変わっているからです。人が読む本数は、全部でなくてかまいません。外れた件の全部と、通った件から抜き取った数件で足ります。

外に委託しているとき、何を出してもらうか

作るところを外の会社に頼んだ場合、回す仕事の材料が自社の手元にないことがあります。ここは契約の話になります。AI事業者ガイドライン第1.1版は、AI提供者が提供すべき情報として、「AIシステム・サービスの動作状況に関する情報、不具合の原因及び対応状況、インシデント事例等」と「AIシステムの更新を行った場合の更新内容及びその理由の情報」を挙げています。更新の内容だけでなく、その理由まで含まれている点が実務では効きます。

同じガイドラインは、使う側についても「AI提供者から提供されたAIシステム・サービスについての文書を適切に保管・活用する」ことを挙げています。受け取って保管するだけでなく、活用する、と書かれている。受け取る側の窓口が決まっていないと、この条文は絵に描いた餅になります。委託しているなら、次の6つを月次の報告に入れてもらいます。

• 使っているモデルの名前と版、そして切り替えた日付
• 指示文と参照資料の変更点。変えた理由まで含めて1行ずつ
• 評価の束を当てた結果。合っている割合だけでなく、外れた件の中身
• 失敗した件数と、その内訳（呼び出しの失敗、上限、書式崩れ）
• 費用の内訳。業務ごと・版ごとの合計と、1件あたりの単価
• 提供元から届いた通知の写し。とくに提供終了の予告

6つのうち、最初に効くのは1つめです。版を替えた日付が分かるだけで、「先月からおかしい」という現場の声を突き合わせられるようになります。契約に入れるときは、様式まで決めておくと形になります。報告の頻度と、様式と、届く先の3つを書く。届く先を契約の管理者だけにすると、実務で困っている担当者のところまで情報が降りてきません。

最初の4週間で、回る形まで持っていく

全部を一度に始めると、たいてい2か月で止まります。順番を決めて、4週間で回る形まで持っていきます。ここまでできれば、あとは当番表に沿って続けるだけになります。

この4週のうち、削ってよいのは2週目だけです。急ぐなら、いきなり本番の運用に入れてもかまいません。1週目を飛ばすと見るものがなく、3週目を飛ばすと費用の異変に気づけず、4週目を飛ばすと、誰も見ていないのに仕組みだけ動いている状態に戻ります。戻ってしまうと、次に誰かが気づくのは、取引先から指摘を受けた日になります。

まとめ

作った後に残る仕事は、評価と、版と、費用と、当番の4つです。評価は、実務で来た依頼と過去の失敗と判断が割れた件から問いの束を組み、毎週回し切れる本数に絞って当て続ける。束は足す条件と外す条件を先に決め、正解を言える人の列を持たせる。版は、追いかけるか固定するかを業務の重さで選び、固定するなら提供終了の日付を台帳に持つ。提供終了は少なくとも60日前に予告され、その日を過ぎると要求は通らなくなります。入れ替えるときは、合っている割合だけでなく、外し方・書式・長さ・時間・単価・断り方まで並べて比べます。

費用は総額ではなく、1件あたりの単価を、業務ごと・版ごと・操作した人ごとに割って見る。静かに増える形は、材料が伸びる、道具を渡すだけで乗る、やり直しが増える、評価そのものにかかる、文字の刻み方が変わる、の5つです。当番は曜日で決め、その場で決めてよいことと、止める権限を書き添える。AIには突き合わせ、差分の一覧、失敗例の分類、費用の集計までを任せ、合格の基準と、入れ替えの判断と、止めるかどうかの決めは人が持つ。外に委託しているなら、版を替えた日付から始まる6項目を月次で出してもらう。この形にしてしまえば、作った後の半年で静かに落ちていく分を、取引先より先にこちらが見つけられるようになります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。