AIの分類を替えると過去と比べられない｜集計の継ぎ目を残す

「先月から『価格への不満』の問い合わせが急に倍になった。値上げの影響だろうか」「分類の精度が上がると聞いて新しいモデルに替えたのに、前年比の表が読めなくなった」。問い合わせや自由記述をAIで分類して件数を数える運用が広がるにつれ、会議でこうした声が出る場面も増えてきました。気持ちはよく分かりますが、件数の跳ねをそのまま顧客の変化と読むべきではありません。本当は、数える物差しのほうが途中で入れ替わった跡であることが少なくないのです。この記事では、AIの分類を替えるときに生まれる集計の継ぎ目を、消さずに残して読めるようにする手順を整理します。

件数の跳ねは、顧客の変化とは限らない

AIで分類して件数を数える仕組みは、問い合わせの内訳、アンケートの自由記述、商談メモの失注理由、自社サイトの記事の主題など、さまざまな場面で使われるようになりました。人が1件ずつ読んでいたころに比べれば、毎月の集計にかかる手間は大きく減ります。その結果、分類の結果が月次の報告や経営会議の資料に、そのまま数字として載るようになっています。

問題は、数字として載った瞬間に、その数字がいつも同じ物差しで測られていると読まれてしまうことです。前月より「導入の相談」が3割増えた、前年同月より「解約の予兆」が半分になった、という比較は、分類の基準が月をまたいで変わっていないことを前提にしています。ところがAIの分類は、運用の途中で基準が静かに動きます。動いた月の数字は、顧客の変化と物差しの変化が混ざった値になります。

しかも、物差しが動いた月は、現場からは見分けがつきません。分類の結果は箱の名前と件数しか表に出てこないため、どの件がなぜその箱に入ったかを振り返る人はまれです。件数が跳ねた月に「値上げの影響だ」「新しい施策が効いた」と説明がつくと、その説明が記録に残り、後から確かめる手段もなくなります。跳ねた月ほど、先に物差しを疑うという順番を、運用の最初に決めておく必要があります。

物差しが動く3つのきっかけと、避けられない理由

AIの分類の物差しが動くきっかけは、大きく3つあります。1つ目はモデルの世代交代です。使っているモデルの提供が終わる、あるいはより新しいモデルに切り替える。2つ目は指示文の書き換えです。分類の精度を上げようと、箱の説明を足したり、例を差し替えたりする。3つ目は箱の追加や統合です。新製品が出たので「新製品の問い合わせ」という箱を足す、件数の少ない2つの箱を1つにまとめる、といった変更です。

このうちモデルの世代交代は、自社の都合では止められません。大手のAI提供元のモデル一覧には、モデルごとに「この日より前には提供を終えない」という形で終了の目安が載っている例があります（2026年9月時点）。裏を返せば、同じモデルを何年も使い続けることはできないということです。分類の仕組みを長く回すほど、どこかで必ずモデルを替える日が来ます。

さらに、名前が同じでも中身が変わることがあります。米国の大学の研究者らが2023年に公開した論文では、同じ名前で提供されていた大手の言語モデルの3月版と6月版を比べたところ、ある数が素数かどうかを見分ける問題の正答率が84％から51％に下がったと報告されています。研究者らは、同じサービスの振る舞いが短い期間で大きく変わりうるので、続けて見張る必要があると結論づけました。分類でも、替えたつもりがなくても物差しが動くことはありうると考えておきます。

原因の型1：箱の定義そのものが変わる

件数が跳ねる原因は、3つの型に分けると整理しやすくなります。1つ目の型は、箱の定義そのものが変わるものです。たとえば、これまで「価格・費用」という箱に入れていた「値引きはできるか」という相談を、新しく作った「商談の条件」という箱へ移したとします。この変更をした月から、「価格・費用」の件数は減り、「商談の条件」は突然ゼロから立ち上がります。

この型は、変えた本人には自明でも、数字を読む人には見えません。報告の表には「価格・費用　前月比マイナス25％」とだけ出るため、読む人は値引きの相談が減ったと受け取ります。定義を変えたときは、どの箱からどの箱へ、何を移したかを対応表として残しておかなければ、後から数字を読み解く手がかりがなくなります。

箱の統合も同じです。「導入時の設定」と「使い方の質問」を「操作の相談」にまとめれば、統合後の箱は、統合前のどちらの箱とも比べられなくなります。2つを足した値となら比べられそうに見えますが、統合の際に指示文の説明も書き換えていれば、境目の案件の行き先も同時に変わっています。単純な足し算で過去とつなげられるのは、定義だけを変えて、それ以外に手を触れなかった場合に限られます。

原因の型2：同じ定義でもモデルの判断がずれる

2つ目の型は、箱の定義も指示文も同じなのに、モデルが替わったことで判断がずれるものです。人に置き換えると、同じ分類の手引きを渡しても、担当者が替われば付け方の癖が変わるのと似ています。新しいモデルのほうが精度が高いとしても、それは正解に近づいたという意味であって、古いモデルと同じ間違え方をしてくれるわけではありません。

ここで見落とされやすいのが、精度の向上そのものが件数の跳ねを生むという点です。たとえば古いモデルが「解約の予兆」を取りこぼしがちで、本来の半分ほどしか拾えていなかったとします。新しいモデルで取りこぼしが減れば、その月から「解約の予兆」の件数は倍近くに増えます。顧客の解約意向は何も変わっていないのに、表の上では急増に見えるのです。

逆向きのずれもあります。古いモデルが何でも「その他」に入れず、無理にどこかの箱へ押し込んでいた場合、新しいモデルが迷った案件を「その他」に回すようになると、各箱の件数が一斉に少しずつ減ります。精度が上がった月に、件数が動くのは当たり前だと心得ておくと、跳ねを見たときに慌てずに済みます。

原因の型3：境目の案件の行き先が変わる

3つ目の型は、どちらの箱にも入りうる境目の案件の扱いが変わるものです。「料金表を送ってほしい。来月の会議で導入を検討する」という問い合わせは、「資料請求」とも「導入の相談」とも読めます。こうした案件は、全体の中では1割に満たないことも多いのですが、箱ごとの件数に与える影響は小さくありません。

境目の案件が動くきっかけは、指示文のちょっとした書き換えです。例を1つ差し替えた、箱の並び順を入れ替えた、「迷ったら上にある箱を選ぶ」という一文を消した。どれも精度を上げるための善意の修正ですが、境目の案件がまとめて隣の箱へ移ることがあります。1割の案件が一斉に移れば、小さな箱では件数が倍になったり半分になったりします。

この型は、差分を1件ずつ見ないと気づけません。件数の合計が変わらず、2つの箱の間で行き来しているだけなので、全体の一致率だけを見ていると「9割以上一致しているから問題なし」と判断してしまいます。一致しなかった1割が特定の2つの箱に集中していないかを見ることが、次の節以降で扱う継ぎ目の記録の中心になります。

継ぎ目は消すものではなく、残すもの

物差しが動いた跡を、ここでは「継ぎ目」と呼びます。継ぎ目への向き合い方として参考になるのが、国の統計の扱い方です。総務省統計局の労働力調査の解説によれば、同調査は昭和28年以後、調査事項・概念の定義・標本設計などの変更に伴い、過去の値の遡及改定を5回行ってきました。物差しが変わるたびに、どこで変わったかを記録し、つなげられるものはつなげてきたのです。

同じ解説には、つなげられなかった例も書かれています。昭和27年11月からの標本設計の改正で生じた断層は修正できず、時系列は昭和28年1月までしか遡れないとされています。また、昭和53年以降は、基準人口を切り替えても遡及改定をしていないと明記されています。つまり、すべての継ぎ目を埋める必要はないのです。埋めないと決めたなら、そのことを数字の横に書いておけばよい、という考え方です。

社内の分類の集計も、この発想で扱えます。モデルや指示文を替えるたびに過去の数字をすべて作り直すのは現実的ではありませんし、作り直した数字が正しいという保証もありません。大切なのは、どの月に、何を替えたかが、数字と一緒に残っていることです。それさえあれば、跳ねを見た人が自分で継ぎ目を疑い、確かめに行くことができます。

切り替え前後は、新旧を並行で走らせる

継ぎ目を残す方法の1つ目は、切り替えの前後の一定期間、新しい分類と古い分類を同じデータに並行で当てることです。労働力調査の解説にも、昭和47年7月から48年12月まで、沖縄県を含む結果と含まない結果の両方を公表した例が載っています。範囲が変わった期間は、変わる前の数え方と後の数え方を並べて出したわけです。分類の切り替えでも、同じ月の件数を新旧2通りで出しておけば、跳ねのうちどれだけが物差しの変化かを読めます。

並行の期間は、少なくとも1か月、できれば2か月を目安にします。1か月だけだと、その月にたまたま多かった話題に結果が引きずられます。2か月あれば、新旧の差が安定しているかどうかを見られます。期間中は報告に使う数字を古い分類のままにしておき、新しい分類の数字は差の確認用として別に持ちます。どちらを正式な数字とするかは、切り替えの判断を下した日からと決めておきます。

並行で走らせると、分類にかかる費用と時間はおよそ倍になります。全件を2回分類するのが重い場合は、無作為に抜き出した一部だけを新旧両方で分類する方法もあります。ただし、件数の少ない箱では抜き出した件数が足りず、差が読めないことがあります。小さな箱ほど跳ねが大きく出やすいので、小さな箱に限っては全件で並行させるなど、箱の大きさに応じて濃淡をつけます。

一致率と、差の出る箱の組み合わせを記録する

並行で走らせた結果は、全体の一致率と、箱ごとの行き来の2つで読みます。全体の一致率は、新旧で同じ箱に入った件数の割合です。たとえば同じ500件を新旧で分類して460件が一致したなら、一致率は92％です。ただし、この数字だけでは足りません。前の節で見たとおり、一致しなかった40件が特定の2つの箱の間に集中していれば、その2つの箱の件数は大きく動きます。

そこで、古い分類の箱を縦に、新しい分類の箱を横に並べた対応表を作ります。どの箱からどの箱へ何件が移ったかが一目で分かる表です。差が集中しているマス目が、継ぎ目の正体です。移った件の原文を10件ほど読み、どちらの分類が箱の定義に合っているかを人が確かめます。新しいほうが正しければ、それは精度の向上による跳ねであり、古いほうが正しければ、新しい指示文やモデルに直すべき点があるということです。

記録する項目	中身の例	なぜ残すか
切り替えの版	指示文の第3版、モデルの替え先	どの数字がどの物差しかを後から特定するため
並行の期間と件数	2か月、全件1,200件	差の読み方の確からしさを判断するため
全体の一致率	92％	物差しの動きの大きさの目安にするため
差が集中した箱の組み合わせ	資料請求から導入の相談へ28件	跳ねる箱を事前に知らせるため
原文を読んだ判定	新しいほうが定義に合う	跳ねを精度の向上と説明できるようにするため
決めた扱い	過去分は付け直さず注記	後任が同じ議論を繰り返さないため

この記録は、切り替えのたびに1行ずつ積み上げていく台帳にします。分類の仕組みを何年も回していると、指示文は10回、20回と書き換わります。台帳がなければ、3年前の数字がどの物差しで測られたものか、誰にも答えられなくなります。

切り替え日と版を、集計表の列に持つ

継ぎ目を残す方法の2つ目は、分類した1件ごとに「どの版で分類したか」を列として持つことです。問い合わせの一覧に、分類の結果の箱の列と並べて、分類に使ったモデルと指示文の版の列を足します。月次の集計表にも、その月の数字がどの版で作られたかを1列加えます。版が変わった月は、表の上で見れば分かる状態にしておくのです。

この列があると、集計の仕方を選べるようになります。版が同じ期間だけを比べる、版が変わった月に印を付けてグラフに縦線を引く、といった扱いができます。反対にこの列がないと、どの月から物差しが変わったかを、台帳と日付を突き合わせて推測するしかない状態になります。分類の日付と切り替えの日付がずれていると、推測も外れます。

注意したいのは、分類した日と、案件が発生した日が違う場合です。月末にまとめて分類する運用では、前月の案件を新しい版で分類することがあります。版の列は案件の発生日ではなく、分類を実行した版で記録します。そのうえで集計は案件の発生月で行い、同じ月に2つの版が混ざっていれば、それが分かるように件数を版ごとに分けて示します。1つの月に2つの物差しが混ざる月が、最も読み違えやすいからです。

固定の検証用サンプルを、毎回同じように分類させる

継ぎ目を残す方法の3つ目は、分類の物差しを測るための固定の検証用サンプルを持っておくことです。過去の案件から200〜300件ほどを選び、人が正解の箱を付けておきます。この一式は、以後いっさい中身を変えません。モデルや指示文を替えるときは、まずこのサンプルを新旧で分類させ、正解との一致の度合いと、箱ごとの件数の差を比べます。

並行の運用と違って、固定のサンプルは毎回同じものを使うので、版と版の比較が積み上がります。第1版から第5版まで、同じ300件に対して各箱が何件になったかを並べれば、物差しがどの方向に動いてきたかが見えます。替えたつもりがないのに結果が変わった場合も、定期的にこのサンプルを流しておけば気づけます。月に1回、同じ版で同じサンプルを分類させ、結果が前回と違っていないかを見るだけでも効き目があります。

サンプルを選ぶときは、箱ごとに一定の件数を確保し、境目の案件を意識して多めに入れておきます。分かりやすい案件ばかりでは、どの版でもほぼ全問正解になり、差が出ません。また、正解を付けた人と日付、迷った案件にはその理由も残しておきます。正解そのものが箱の定義の変更で古くなった場合は、サンプルを作り直すのではなく、新しい定義での正解の列を足して、両方を残します。

• 検証用サンプルに個人名や連絡先が含まれる場合は、社内の取り扱いの決まりに沿って伏せてから保管する
• サンプルをAIの指示文の例に流用しない。例に使うと、その件だけ正解しやすくなり、測る意味がなくなる

過去分を付け直すか、付け直さないか

切り替えのあと、過去の案件を新しい分類で付け直すかどうかは、切り替えのたびに人が判断します。付け直せば、過去から現在までが1本の物差しでつながり、前年比がそのまま読めるようになります。一方で、付け直した過去の数字は、当時の報告に載った数字と食い違います。過去の会議資料と今の資料で同じ月の件数が違えば、それ自体が混乱の種になります。

判断の軸は、比較にどれだけの期間が必要か、付け直しの費用、当時の数字がすでに意思決定に使われたか、の3つです。前年比を毎月の報告の柱にしているなら、少なくとも直近1年分は付け直す価値があります。反対に、当月の内訳しか見ていないなら、付け直さずに注記で済ませるほうが安上がりです。付け直すなら、付け直した数字と当時の数字の両方を残し、付け直した日を書くことが条件です。

状況	おすすめの扱い	残すもの
前年比を毎月の報告の柱にしている	直近1年分を新しい分類で付け直す	当時の数字の列と、付け直した日
当月の内訳だけを見ている	付け直さず、切り替えた月に注記	台帳の1行と、注記の文
箱を統合しただけで、指示文は変えていない	過去分は足し算でつなぐ	統合の対応表
差が一部の箱に集中している	その箱だけ過去分を付け直す	付け直した箱の一覧
一致率が低く、原因が特定できない	切り替えを見送り、指示文を見直す	見送った理由

付け直しをAIに頼むときは、当時の案件の原文が残っていることが前提です。要約や箱の名前しか残っていなければ、付け直しはできません。分類の仕組みを作る段階で、原文を消さずに残すことを決めておくと、後の選択肢が広がります。

報告には、継ぎ目の注記を必ず添える

継ぎ目を残しても、報告を読む人に伝わらなければ意味がありません。月次の報告で、切り替えがあった月の数字には注記を添えます。注記に書くのは、何を替えたか、どの箱が動く見込みか、並行期間で確かめた差の大きさ、の3点です。たとえば「今月から分類の指示文を第4版に替えました。並行期間の確認では、資料請求の一部が導入の相談に移り、導入の相談は旧版より約1割多く出ます」と書きます。

グラフには、切り替えた月に縦線を引き、線の脇に版の名前を小さく入れます。線の前後で折れ線の色や種類を変えるのも有効です。こうしておけば、跳ねの原因を物差しに求めるか顧客に求めるかを、読む人が自分で判断できるようになります。注記のない跳ねは、読む人にとっては顧客の変化にしか見えません。

注記は、切り替えた月だけでなく、その後の前年比が崩れる期間ずっと付け続けます。指示文を替えた翌年の同じ月まで、前年の数字は古い物差しで測られているからです。前年比の列に「前年は旧版」という印を1年間付けておくと、報告を受け取る側が毎回確かめる手間も省けます。注記の文面は、台帳に書いた記録から毎回同じ形で作れるよう、雛形にしておくと続けやすくなります。

AIに任せる範囲と、人が決めること

ここまでの手順のうち、AIに任せてよいのは、分類そのものと、新旧の結果の差分一覧の作成までです。並行で分類した結果から、一致しなかった案件を抜き出し、古い箱と新しい箱の組み合わせごとに件数を数え、代表的な原文を数件ずつ並べる。この下ごしらえはAIが得意とするところで、人が1件ずつ突き合わせるより速く、漏れもありません。

差分一覧を作らせるときは、なぜその箱に入れたのかの根拠を1行ずつ書かせることが大切です。根拠が書かれていれば、人が原文を読んだとき、新旧のどちらの判断が定義に沿っているかを短い時間で見極められます。根拠のない一覧は、結局すべての原文を読み直すことになります。また、AIに「どちらが正しいか」を判定させないことも決めておきます。AIが自分の分類を正しいと言うのは当然で、判定の材料にはなりません。

人が決めるのは、箱の定義、切り替えるかどうか、いつ切り替えるか、過去分を付け直すかどうか、報告にどう注記するか、の5つです。どれも、数字を使う人の目的を知らなければ決められません。分類はAI、物差しの管理は人と役割を分けておけば、AIの分類を替えるたびに報告が揺らぐことはなくなります。

継ぎ目を見失う、やりがちな失敗

最後に、継ぎ目を見失う典型的な失敗をまとめておきます。どれも、分類の精度を上げようとした結果として起きるもので、悪意や怠慢から起きるわけではない点に注意が必要です。精度を上げる工夫と、比較を守る工夫は、別の作業として段取りに入れておかなければなりません。

• 指示文を少しずつ毎週直す：小さな修正が積み重なり、どの週から物差しが変わったか誰にも分からなくなる
• 全体の一致率だけで問題なしと判断する：一致しなかった1割が2つの箱の間に集中していれば、その箱の件数は大きく跳ねる
• 過去分を付け直して、当時の数字を消す：過去の会議資料と今の資料の数字が食い違い、どちらが正しいか説明できなくなる
• 検証用サンプルを指示文の例に使う：その件だけ正解しやすくなり、版の比較に使えなくなる
• 跳ねた月に、先に施策の効果として説明してしまう：一度記録に残った説明は、物差しの変化だったと分かっても訂正されにくい

中でも1つ目の失敗は、運用が軌道に乗ったあとに起きやすいものです。担当者が気づいた誤りをその場で直せる手軽さは、AIの分類の良いところでもあります。しかし、直すたびに物差しが動くのであれば、指示文の修正はまとめて月1回、版を上げて行うという決まりを作っておくほうが安全です。急ぎの修正が必要な場合も、版の名前を上げて台帳に1行を足すことだけは省かないようにします。

よくある質問

モデルを替えないで使い続ければ、継ぎ目の問題は起きませんか

起きにくくはなりますが、なくなりはしません。提供元のモデルには終了の目安が示されていることが多く、いずれ替える日が来ます。また、同じ名前のまま振る舞いが変わる例も報告されています。替えない場合でも、固定の検証用サンプルを月に1回流し、結果が変わっていないかを確かめておくと安心です。

並行で走らせる費用が出せない場合はどうしますか

全件ではなく、無作為に抜き出した一部と、固定の検証用サンプルだけを新旧で分類する方法があります。件数の少ない箱は差が読みにくいので、少なくともその箱に入りそうな案件だけは全件で比べておくと、跳ねの大きさを見積もれます。

人が分類していた時代の数字とも比べたいのですが

人からAIへの切り替えも、継ぎ目の1つとして同じ手順で扱えます。切り替えの前に、同じ案件を人とAIの両方で分類する期間を設け、一致率と差の出る箱を記録します。人の分類にも担当者ごとの癖があるので、人の側の数字が正しいと決めつけず、原文を読んで確かめます。

箱を増やしたいが、過去との比較も守りたいときは

新しい箱を、既存の箱の内訳として作る方法があります。たとえば「導入の相談」の下に「他社からの乗り換え」を作れば、親の箱の件数は過去と比べられ、子の箱は新しく数え始められます。親子の関係を決めずに横に並べて足すと、既存の箱から件数が抜けていき、比較が崩れます。

まとめ

AIの分類で数えた件数は、同じ物差しで測られ続けているように見えますが、モデルの世代交代、指示文の書き換え、箱の追加や統合のたびに物差しが動きます。原因は、箱の定義が変わる、同じ定義でもモデルの判断がずれる、境目の案件の行き先が変わる、の3つの型に分けられます。継ぎ目は消すものではなく残すものです。切り替えの前後は新旧を並行で走らせて一致率と差の出る箱を記録し、切り替え日と版を集計表の列に持ち、固定の検証用サンプルで版ごとの動きを積み上げます。過去分を付け直すかは比較の必要性と費用で人が決め、付け直すなら当時の数字も残します。AIには分類と差分一覧の作成を根拠つきで任せ、どちらが正しいかの判定はさせません。まずは今使っている分類の版に名前を付け、台帳の1行目を書くところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。