MLOpsで予測モデルの再学習を回す方法|作った後に育てる引き金

MLOpsで予測モデルの再学習を回す方法|作った後に育てる引き金

「予測の仕組みは去年入れました。ただ、それ以降は誰も触っていません」「当たらなくなってきたのは分かるのですが、作り直すかどうかを誰が決めるのかが決まっていなくて」——予測を業務に入れた会社から、一年目の終わりごろに届く声です。総務省の令和8年版情報通信白書(2026年7月24日公表)では、生成AIの活用方針を定めた企業が68.9%に達する一方、組織的な取組はないと答えた企業が27.0%ありました。調査の対象は生成AIですが、作るところまでは進み、作った後を誰が持つかは空欄のまま、という形は自社で学習させた予測モデルでも同じです。予測モデルは作った時点が完成ではなく、材料の側が動けば作り直す前提の仕組みで、その作り直しをいつ始めるかを決めた引き金が要るからです。この記事では、再学習を回し続ける形にするために、引き金の置き方から戻す判断の持ち方までを順に整理します。


カメ先生カメ先生

一度作ったモデルは放っておいても同じ精度を保つと思われがちだけれど、本当は材料の側が動くから、同じ場所に立っているだけで中身がずれていくんだ。


カメ子カメ子

中身がずれる、というのは、モデルのほうが壊れるということですか。


カメ先生カメ先生

壊れてはいないんだよ。動くし、数字も返ってくる。ただ、作ったときの世の中と今の世の中が違うだけなんだ。だから直すのではなく、作り直すという言い方になる。


カメ子カメ子

直すことと作り直すことは、何が違うのでしょうか。


この記事のポイント
  • 再学習の引き金を「精度が落ちたら」だけにすると回らない。暦・ずれ・業務の節目・材料の増加・外の前提の5つから2つを選ぶ
  • 作り直す前に、比べられる状態を先に作る。材料の版と試した記録が対になっていないと、良くなったかを言えない
  • 新しい版は並走させてから一部に出す。戻す条件と戻す人を紙に書いてから切り替える

AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

目次

「作り直す」は、壊れたものを直す作業ではない

予測モデルが当たらなくなっても、システムとしては何も起きません。エラーも出ませんし、画面も落ちません。数字はいつもどおり返ってきます。グーグルが公開している運用向けの設計文書は、機械学習のモデルは従来のソフトウェアより多くの形で劣化しうると述べ、その理由をコードの不具合ではなく、絶えず姿を変えるデータそのものに置いています。1行も書き換えていないのに、返す答えだけが合わなくなる、という壊れ方です。

この違いは、作業の呼び名に出ます。ソフトの不具合なら、原因の箇所を特定して直せば元の状態に戻ります。予測モデルには直す箇所がありません。材料を入れ替えて、もう一度同じ手順で作り直すのが唯一のやり方です。修理ではなく再生産に近い作業だと考えたほうが、必要な準備の見当がつきます。再生産である以上、材料をどこから取るか、前と同じ作り方ができるか、できあがりをどう検品するかが問題になります。

この記事は、当たらなくなっていることに気づいた後から始めます。気づくための仕組みそのものは別の論点なので、ここでは扱いません。決めておきたいのは、作り直しを、思い立ったときにやる作業ではなく、条件が満たされたら始まる作業にしておくことです。条件を書いていない会社では、作り直しは「今期は手が空かなかった」で毎回先送りされます。手が空くかどうかに左右されない形にするのが、この記事の目的です。

引き金を「精度が落ちたら」だけにすると、回らない

最初に置かれる引き金は、たいてい「精度が落ちたら作り直す」です。ところが精度は、答え合わせができて初めて数字になります。マイクロソフトが公開しているモデル監視の説明(2026年1月27日付)でも、本番のモデルの出来を数字で測る合図は正解のデータが取れることが前提と明記され、表のうえでも正解データが必須と示されています。正解が来ないうちは、精度という数字自体が存在しません。

問題は、正解が返ってくるまでの時間差です。受注の見込みを出すモデルなら、商談が決着するまでに3か月かかることがあります。解約の予兆は、翌々月の請求が立って初めて確定します。来場者数の予測のように当日わかるものもありますが、業務によって幅が大きい。この時間差の長さが、そのまま「精度で引ける速さ」の上限になります。半年後にしか正解が揃わない予測を、精度だけで管理することはできません。

だから引き金は複数持ちます。正解の到着を待たずに引ける引き金を、少なくとも1つは用意しておくのが要点です。以下では実務で使われる5つを順に見ます。どれが正解というものではなく、業務ごとに向き不向きがあります。自社の予測がどの型に近いかを当てはめながら読んでください。

引き金1:暦で回す——決めた日が来たら必ず作り直す

もっとも単純な引き金です。グーグルの文書でも、学習のパイプラインを動かすきっかけの一つとして、日次・週次・月次といった定期実行が挙げられています。数字を見ずに、日付だけで引くやり方です。仕組みとしては最も軽く、最初に入れるならこれになります。

向くのは、材料が一定の周期でまとまって入ってくる業務です。請求、出荷、会員の異動、実績の締め。こうした業務では、締めが終わった3営業日後に回す、というように業務の暦へ乗せられます。暦で回す最大の利点は、誰も判断しなくても回ることです。担当者が変わっても、決裁者が忙しくても止まりません。作り直しが「特別な出来事」でなくなると、1回あたりの心理的な重さも下がります。

弱点は二つあります。必要がないのに回るので、計算の費用と確認の手間が積み上がること。もう一つは、周期の間に起きた変化には間に合わないことです。暦は「最低でもこれだけは回す」という下限として置き、他の引き金と組み合わせるのが現実的です。周期は、材料が1回分たまる間隔に合わせます。材料が月次でしか揃わないのに週次で回しても、ほとんど同じモデルができるだけです。

引き金2:ずれの大きさで回す——閾値を決めるのは人

入ってくる材料の姿が、作ったときと変わったら回す、という引き金です。マイクロソフトの監視では、入力データのずれ、予測した答えのずれ、そしてデータ品質が別々の合図として用意されています。品質のほうは欠損値の割合・型の食い違いの割合・範囲外の値の割合という3つの数字で、いずれも0.00001の精度まで計算する、と仕様に書かれています。細かく出せるということは、閾値をどこに置くかを人が決めなければならない、ということでもあります。

ここで決めるのは、ずれを見つける手段ではありません。鳴ってから着手するまでの条件です。いくつを超えたら引くのか、何日分を見た数字で引くのか、比べる相手を学習に使った材料にするのか直前の本番の材料にするのか。同社の推奨では、入力のずれとデータ品質は学習に使った材料を、予測した答えのずれは検証に使った材料を比べる相手にする、と分けられています。比べる相手が違えば、同じ数字でも意味が変わります。

落とし穴は、項目を広げすぎて鳴りっぱなしになることです。同じ文書は、学習データを基準にするなら重要度の上位の項目だけに絞る、特徴が多いモデルは一部に絞って計算の費用と雑音を減らす、と勧めています。そしてもう一つ、鳴ったら自動で作り直しを始めるのか、人が承認してから始めるのかを、警報を入れる前に決めておくこと。ここが空欄のまま合図だけ入れると、鳴っても誰も動かない月が続き、やがて通知そのものが無視されます。

引き金3:業務の節目で回す——予定表に載っている変化を使う

料金表の改定、商品の統廃合、販売チャネルの追加、拠点の統合、大型のキャンペーン。こうした節目は、予測の前提そのものを置き換えます。価格を変えた月の実績は、変える前のモデルにとって初めて見る形です。数字のずれが出てくるのを待つ必要はなく、変えると決まった時点で作り直しが確定します。

この引き金の強みは、予定表に載っていることです。だから事前に組めます。マーケティングの領域では、施策が動く回数が多いぶん、実務でいちばん効く引き金になります。四半期の計画が固まった時点で、どの施策がモデルの前提を変えるかを洗い出しておけば、作り直しの予定も同時に決まります。あとから慌てて回すのと、予定として組んでおくのとでは、使える人手がまったく違います。

置き方はひとつだけです。施策の計画書に「予測モデルの作り直しが要るか」という欄を1つ足します。引き金の登録は、予測を作った人ではなく、施策を動かす人の側に置く。作った人は施策の予定を知りませんし、施策を動かす人はモデルの存在を忘れています。欄を1つ作るだけで、この二つがつながります。欄が空欄のまま提出された計画は差し戻す、という運用にすると、半年で習慣になります。

引き金4:材料が一定量たまったら回す——数えるのは件数ではなく種類

グーグルの文書にある「新しい学習データが手に入ったとき」に対応する引き金です。前回の学習以降にたまった件数で引きます。取引が少ない業務では暦より素直に働きます。半年に一度しか材料が増えない予測を毎月回しても意味がないからです。

落とし穴は、量ではなく種類のほうにあります。新商品が3つ増えた、これまで扱っていなかった業種の顧客が入った、新しい販路が1本できた。件数としては小さくても、モデルが一度も見たことのない型が入ってきている場面です。全体の件数だけで閾値を引くと、少数の新しい型はいつまでも学習に入らず、その区分だけ当たらないモデルが残り続けます。

対処は、区分ごとの件数で引くことです。商品群でも顧客の業種でも構いませんが、予測の結果を業務で分けて使っている単位に合わせます。どの区分にも最低これだけは入っていること、という下限を先に決めておくと、全体の件数では見えない穴が見つかります。マーケティングの領域では商品の投入が頻繁なので、商品マスタに追加が入ったこと自体を引き金の材料にしておくと取りこぼしが減ります。

引き金5:外の前提が変わったとき——自分では気づけない引き金

ここまでの4つは自社の中で起きる変化でした。5つ目は外から来ます。外部から買っている材料の仕様変更や提供終了、統計の区分の見直し、計算基盤の版の更新。自社の業務は何も変わっていないのに、モデルの作り方だけが成り立たなくなるという形で効いてきます。

道具そのものの都合もあります。たとえばアマゾンが公開している機械学習向けの監視機能の文書には、冒頭の注記として、新規の顧客の受け付けは終了したこと、既存の顧客は引き続き利用できること、安全性と可用性の改善への投資は続けるが新機能を導入する予定はないこと、が明記されています(2026年9月14日時点の記載)。止まってはいないけれど、育たなくなる。この状態は障害として通知されないので、気づくのはたいてい、新しくやりたいことが出てきたときです。

外から来る引き金は、待っていても届きません。四半期に一度、使っている外部の材料と道具の告知をまとめて見に行く担当を決めておくのが、いちばん安く済む備えです。見るのは3つだけで足ります。買っている材料の仕様が変わっていないか、使っている機能の提供方針が変わっていないか、計算基盤の版の更新予定が出ていないか。30分で終わりますが、担当を決めないと誰もやりません。

5つの引き金を1枚で見て、最初は2つに絞る

ここまでの5つを並べます。どれが優れているという順位はなく、正解が返ってくる速さと、材料の入り方で選び方が変わります。自社の予測がどの行に近いかを見てください。

引き金何を見て引くか向く場面落とし穴
暦で回す決めた日が来たこと材料が月次でまとまって入る業務必要がなくても回り、費用と確認の手間が積み上がる
ずれで回す入力や答えの分布の差、欠けや範囲外の割合正解が返ってくるまでが長い業務見る項目を広げると鳴りっぱなしになる
業務の節目料金改定・商品改廃・チャネル追加の予定施策が頻繁に動くマーケティングの領域計画書に欄がないと誰も引かない
材料の増加区分ごとの新規件数新商品や新規顧客が増え続ける業務全体の件数だけで引くと新しい型が入らない
外の前提外部の材料と道具の告知外部から買った材料に頼る予測見に行く担当がいないと気づけない

表を見たうえでの勧めは、5つ全部を最初から入れないことです。暦をひとつ置き、自社の業務に合うものをもう1つだけ足す。この2つで3回回してから、必要なら増やします。理由は費用ではなく、作り直しが重なったときに「今どの引き金で動いているのか」が誰にも分からなくなるからです。引き金は増やすほど強くなるのではなく、増やすほど追いにくくなる、と考えておいてください。3つ目を足すのは、2つが確実に回ってからで遅くありません。

同じ材料で作り直せないと、良くなったかを言えない

作り直しの成否は「前の版より良くなったか」でしか判断できません。そして比べるには、前の版を同じ条件でもう一度作れる状態が要ります。残しておく必要があるのは、材料そのものではなく材料の切り方です。どの期間を使ったか、どの行を除いたか、加工の定義は何か、設定の値はいくつか。ここが残っていないと、点数が違ったときに材料のせいなのか作り方のせいなのかを切り分けられません。

実務でいちばん多い食い違いは、同じ名前の項目が学習用と本番用で別々に計算されている状態です。グーグルの文書は、学習と本番で特徴の作り方がずれる問題を挙げ、特徴の定義・保管・参照を1か所に標準化する置き場を対処として示しています。「直近30日の購入額」が、学習側では受注日、本番側では出荷日で数えられている——この種のずれは、数字を見ているだけでは永遠に見つかりません。作り直しのたびに再現するので、早い段階で1か所に寄せておくほど後が楽になります。

もう一つ残すのが、試した記録です。同じ文書では、パイプラインを実行するたびに記録が残る置き場が部品として挙げられています。材料の版と、その版で出した点数が対になっていない記録は、後から誰にも読めない。何を残すかを次の表にまとめます。欄の名前は自社の言葉に置き換えて構いませんが、不採用にしたものも同じ形で残すことだけは外さないでください。

残す欄書く内容無いと何が起きるか
材料の版期間の切り方・除いた行の条件・加工の定義点数が違った理由を切り分けられない
作り方の設定使った手法と主な設定の値同じ結果を二度と再現できない
物差しと点数何で測って何点だったか前の版と比べる土俵がそろわない
採否と理由採用したか、しなかった場合はなぜか半年後に同じ案をもう一度試す
決めた人と日付誰がいつ採否を決めたか問われたときに経緯を説明できない
比べた相手どの版と比べた結果か改善が積み上がっているのかが分からない

新しい版は、並走させてから一部に出す

作り直した版をそのまま全部の業務に出すと、悪化したときに元の状態を確かめる手立てがなくなります。切り替えは段階に分けます。マイクロソフトの監視でも、出来が閾値を下回ったときに正解のデータを使った再学習を起こす連携が示されていますが、起こした結果をどう出すかは利用する側が決める領域です。手順にすると次の5つになります。

STEP1
新しい版を、現行を止めずに裏で同時に動かす

答えは業務に出さず、記録だけを取ります。この段階では現行の結果が正で、新しい版は観察の対象にすぎません。

STEP2
同じ日・同じ対象に、両方の答えを出させて並べる

期間をずらして比べると、季節や施策の差が混ざります。比べるのは必ず同じ日の同じ対象です。

STEP3
一部の対象にだけ、新しい版の答えを出す

分ける基準は、予測の対象と関係のない規則にします。地域や商品群で分けると、もともとの差と混ざります。

STEP4
決めた期間、両方の結果を数える

期間は先に決めます。良い数字が出たところで打ち切ると、都合のよい期間を選んだだけになります。

STEP5
全部に切り替え、旧版は決めた期間だけ残す

切り替えた日と、旧版をいつ止めるかを記録します。止める日を決めないと、旧版が何年も動き続けます。

工程3の「一部に出す」で最も多い失敗は、分け方に業務の意味を持たせてしまうことです。西日本だけ、主力商品だけ、という分け方をすると、新旧の差なのか、その区分がもともと持っていた差なのかを区別できなくなります。顧客番号の末尾のような、予測の中身と無関係な規則で分けるのが定石です。分けた基準は記録に残し、次の切り替えでも同じ基準を使います。

戻す判断を誰が持つかを、先に紙に書く

段階を踏んでも、切り替えた後に悪化することはあります。そのときに必要なのは戻す手段そのものよりも、戻すと決める権限が誰にあるかです。決めておくのは3つ。戻す条件、戻すと決める人、戻した後に誰へ伝えるか。この3つが紙に書かれていない状態で悪化すると、最初の2日は「様子を見よう」で消えます。

戻す条件は数字で書きます。「ある指標が3営業日続けて決めた線を下回ったら戻す」という形です。判断をその都度の会議に預けないのが要点で、会議を待つ形にすると、悪い数字のまま週末をまたぎます。数字で書いておけば、担当者が会議を待たずに戻せます。条件を満たしていないのに戻したい、という声が出たときだけ会議を使えば足ります。

あわせて、戻す作業を実行できる人を複数にしておきます。夜間や休日に実行できる人が1人しかいない状態は、条件を書いていないのと同じです。そして、戻したこと自体を失敗として扱わないと社内で先に宣言しておく。戻せた回数は、切り替えを安全にやれている証拠です。戻すのが後ろめたい空気があると、次の作り直しから並走の期間がどんどん短くなり、結局は現場に負担が返ってきます。

作り直しのたびに増える手作業を、3回目までに見つける

1回目は手作業で構いません。問題は、その手作業が毎回ぴったり同じだけかかることです。実務でよく残るのは4か所。材料の受け取り、正解の突き合わせ、新しい区分の割り当て、結果を伝える資料の作成です。どれも1回なら数十分ですが、月に一度回すなら年12回分になります。

だから、1回あたりの時間を3回目までに計っておきます。月1回・1回6時間なら年に72時間、およそ9営業日です。ここまで数字にして初めて、自動にする投資の話が通ります。そして自動にする順番は、時間の長い順ではありません。間違えても気づけない順です。材料の受け取りを手でやっていると、先月のファイルをもう一度読み込んでも誰も気づかず、同じ材料で作り直した版が新しい版として採用されます。

正解の突き合わせも同じです。マイクロソフトの説明でも、出来を測る合図には正解のデータが必須とされていました。実績が返ってくる経路を、作り直しの仕組みと同じ場所に寄せておくと、突き合わせが毎回の手作業から外れます。手作業が残っている箇所は、担当者が休んだ月にそのまま止まる箇所です。止まっても誰も困らない箇所なら残してよく、止まると困る箇所から順に手を離します。

誰がどの頻度で持つ仕事になるか

ここまでの話は、担当が決まって初めて動き出します。必要な役割は3つです。材料を出す人(業務側)、作り直しを回す人(情報システム部門または外部の委託先)、採否を決める人(その予測を使っている施策の責任者)。材料を出す人の仕事は、材料を送ることではなく、項目の定義が変わったときに知らせることです。3つのうち1つでも空くと、引き金が鳴っても着手されません。

頻度の目安は、マーケティングの領域なら月次か四半期です。日次で回している会社もありますが、それは予測の結果を毎日の在庫や配信に使っている場合で、施策の単位が月であれば月次で足ります。締めに合わせて、3人が同じ場で15分。見るのは3つだけです。引き金が鳴ったか、作り直したか、前の版と比べてどうだったか。この15分を月の予定に固定できれば、仕組みはほぼ回ります。

外部に委託している場合は、手元に何を残すかを最初に決めます。材料の版、試した記録、作り直しの手順、そしてできあがったモデルそのもの。委託先が変わっても作り直せる状態を、契約の中に書いておく。委託先の環境にしか記録がないと、乗り換えの見積もりを取った時点で「一から作り直し」という金額が返ってきます。年に一度、手元の記録だけで作り直せるかを確かめる回を入れておくと確実です。

小さく始める範囲と、やってはいけない始め方

最初に広げると、たいてい2回目で止まります。始める範囲は、1本のモデル、引き金は2つ、3回回すまで広げない。3回というのは、1回目で手順が分かり、2回目で抜けが見つかり、3回目で時間が読めるようになるからです。時間が読めるようになってから、本数を増やします。

  • 最初から全部を自動にしようとする:仕組みの設計で半年が過ぎ、その間モデルは一度も作り直されない
  • 引き金を5つとも入れる:どの引き金で動いたのかが追えず、結果の良し悪しを引き金に結びつけられない
  • 材料の版を残さずに作り直す:点数が下がったときに、材料のせいか作り方のせいかを切り分けられない
  • 並走させずに全部を切り替える:悪化しても比べる相手がなく、戻すかどうかを勘で決めることになる
  • 戻す条件を決めずに切り替える:様子を見ようが続き、気づいたときには元の版を動かせる人がいない

この中で最も多いのが、最初の「全部を自動にする」です。設計は進み、資料もできあがり、作り直しだけが一度も起きないという状態になります。手で3回回して困ったところだけを自動にするほうが、結果として早く着地します。困っていない箇所を自動にしても、使われない仕組みが1つ増えるだけです。

どこまで自動で回し、どこから人が押すか

作り直しの周りには、機械のほうが確実に速い作業がたくさんあります。材料の突き合わせ、分布の差の計算、候補となる設定の洗い出し、記録の下書き、前の版との差分の抽出。このあたりは人がやると数日かかるものが半日で形になりますし、見落としも減ります。AIに下書きを作らせて人が確かめる、という分担が素直に効く領域です。

一方で、人が決める場所もはっきりしています。引き金の閾値、作り直した版を採用するかどうか、戻すかどうか、業務の節目を引き金として登録するかどうか。とくに「作り直すべきか」の判断をAIに任せないでください。判断に要る材料——施策の予定、契約の条件、使える人手、かけてよい費用——は、モデルの出力のどこにも入っていないからです。数字が下がったという事実と、作り直すという決定は、別々の人が別々の根拠で出すものです。

  • 作り直した版を採用するかどうかの決定は、AIの出力を根拠にしない。決めた人と決めた日を記録に残す
  • 候補の設定や差分の一覧をAIに作らせたら、元にした材料の版と計算の条件を必ず書かせ、人が原典で確かめる
  • ずれの閾値は、計算そのものは機械に任せてよいが、いくつで引くかは業務の痛みの大きさから人が決める
  • 戻す判断を自動にしない。戻す条件は数字で書いておき、押すのは人にする

確かめる範囲も先に決めます。全部を人が見直すと、作り直しを回す意味がなくなります。人が必ず見るのは、材料の版が想定どおりか、前の版と比べた結果、採否の理由の3つ。それ以外は記録が残っていれば後から追える、という線を引いておけば、15分の会議に収まります。

よくある質問

どのくらいの頻度で作り直すのが普通ですか

業界の平均値のようなものはありません。決め方としては、材料が1回分たまる周期と、正解が返ってくるまでの時間のうち、長いほうに合わせるのが素直です。月次で実績が締まり、正解が翌月に確定するなら月次。半年たたないと正解が揃わないなら、暦は四半期に置いて、業務の節目と材料の増加のほうを主な引き金にします。

精度が下がっていないのに、作り直す必要はありますか

あります。価格や商品の構成が変わった直後は、精度の数字がまだ落ちていなくても、モデルが見ている前提はすでに変わっています。数字に出るのは、変化が実績として積み上がった後です。予定表に載っている変化を引き金にするのは、この時間差を埋めるためです。

作り直したら前より悪くなりました。材料は増えたのに、なぜですか

材料が増えても、増えた分が今の業務と違う性質であれば結果は悪くなります。古い料金体系の期間や、すでに終了した施策の期間が混ざっているのが典型です。材料の版に「どの期間を使ったか」が残っていれば、期間を切り直して確かめられます。残っていない場合は、まず記録を残す形にしてから作り直してください。

外部に任せています。こちらは何を持っておけばよいですか

材料の版、試した記録、作り直しの手順、できあがったモデルの4つです。加えて、引き金の条件と閾値を自社の言葉で書いた紙を1枚。委託先が持っているのは作業の手順であって、いつ作り直すかを決める権限ではありません。決める権限とその根拠は手元に置いてください。

まとめ

予測モデルの再学習を回し続ける要点は、精度が落ちたらという一つの引き金に頼らず、正解の到着を待たずに引ける引き金を先に決めておくことです。暦、ずれ、業務の節目、材料の増加、外の前提の5つから、自社の業務に合う2つを選びます。そのうえで、材料の版と試した記録を対で残し、新しい版は並走させてから一部に出し、戻す条件と戻す人を紙に書いてから切り替える。最後に、材料を出す人・回す人・採否を決める人の3つの役割を埋めて、月に一度15分の場を予定に固定します。まずは、いま動いている予測を1本選んで、前回いつ作り直したかを調べるところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

運営会社:株式会社デボノ

目次