AutoMLは分析の担い手を増やさない｜モデルを見る目が要る

「モデルを自動で作れる道具を入れたので、分析ができる人がひとり増えたつもりでいました」「候補が何十本も並んだのですが、どれを業務に載せてよいのかを誰も決められませんでした」——導入から半年ほど経った会社で、情報システム部門と事業側の双方から出てくる言い方です。自動で予測モデルを作る仕組みが引き受けるのは、モデルを組み立てる手間のほうです。増えるのは作られるモデルの本数で、減らないのは出来たものを見極める仕事です。むしろ本数が増えたぶん、見極める量は増えます。この記事では、自動になる工程と人に残る工程の切り分けから始めて、満点に近い点数を疑う理由、予測の時点では分からない値の混入、時間で切る検証のやり方、道具が黙って直した箇所の読み方、点数の付け方で選ばれるモデルが変わること、受け取るときに通す7つの確認、そして誰に作らせるかの3択までを順に整理します。

「分析できる人が増える」と読まれてしまう理由

自動で予測モデルを作る仕組みは AutoML と総称され、説明はたいてい「専門家でなくてもモデルが作れる」という形で紹介されます。受け取る側はそれを「分析の担い手が増える」と読みます。誤解が生まれるのは、外から見えている工程が偏っているからです。材料の整形、手法の選択、調整の繰り返しは、時間がかかるので目に見えます。一方で、出来たモデルを業務に載せてよいかどうかの判定は、誰かの頭の中で数分で終わる作業に見えています。だから前者が消えたときに、後者も一緒に消えたように錯覚します。

実際に消えるのは前者だけです。しかも、前者が速くなったぶん候補の本数が増えます。1本を数週間かけて組んでいたころは、見極めるのも1本分でした。半日で数十本の候補が並ぶようになると、判定に使える人の時間が、そのまま処理能力の上限になります。導入の効果が出ない会社は、たいてい作る側ではなく受け取る側で詰まっています。

この記事で扱うのは、数や区分を当てる側の仕組みです。文章や画像を作る側とは、要る材料も精度の見え方も違います。その違い自体には立ち入らず、当てる側に絞ります。また、動かし始めた後に精度が落ちていくのを見つける話は別の主題なので、ここでは受け取る時点、つまり業務に載せる前の1回に限って書きます。

自動になる工程と、人に残る工程を並べて見る

どこまでが自動になるのかを、工程ごとに並べると線が引けます。大事なのは自動になった工程の数ではなく、右側に残った工程が、左側の出力を読まないと判断できないという関係です。つまり人の側の仕事は減らないどころか、読む対象が増えます。

工程	道具が代行するところ	人に残るところ
何を予測させるかを決める	代行しない	業務の締めや発注の締切から逆算して、予測の対象・粒度・出す時点を決める
材料の列をそろえる	欠けた値の補完、型の変換、区分への置き換えを自動でやる	その列が予測を出す時点で手に入るかを判定する
手法の候補を出して比べる	総当たりで作り、点数を付けて並べる	どの物差しで並べるかを決める
データの分け方を決める	既定の規則で自動に切る	時間で切り直す必要があるかを決める
業務に載せるかを決める	代行しない	外れたときの損の大きさと、それを引き受ける部署を決める
止める判断	代行しない	止める条件と止める人を、役割名で決める

右側の列に並んでいるものは、どれもデータの中を見ただけでは決まりません。いつ締めるのか、外れたときに誰が損を被るのか、その損はいくらまでなら飲めるのか。これらは業務の側の事情です。道具が優秀になるほど、右側の列だけが人の仕事として残ります。だから導入の前に決めるべきなのは設定値ではなく、右側の列を誰が引き受けるかです。

満点に近い点数が出たときは、喜ぶ前に疑う

受け取りの現場でいちばん危ないのは、点数が異常によいときです。提供元の資料には、この状況について明確な注意書きがあります。満点の検証の点数は「通常、モデルが著しくオーバーフィットしており、データ漏えいが原因である可能性が高いことを示します」とあり、取るべき行動は「データ漏えいを検査し、漏えいの原因となっている列を削除すること」だと書かれています。満点は成果の証拠ではなく、材料の作り方を疑う合図だということです。

漏れがどれだけ起きやすいかは、研究の側でも数えられています。機械学習を取り入れた分野の論文を横断して調べた2022年の報告では、誤りが見つかった分野は17、影響を受けた論文は合わせて329本と数えられ、漏れ方は8種類に分類されています。同じ報告の中の内戦の予測を扱った事例研究では、複雑なモデルが単純な手法より優れていると主張した論文は、データの漏れのためにすべて再現しなかったと書かれています。点数の高さが、実際の当たり方をそのまま表すわけではないという実例です。

• 点数が業務の勘より2段よい：勘で当てられる範囲を大きく超えているなら、材料に答えが混ざっている可能性を先に見る
• 誤差がほぼゼロの列がある：予測したい値の倍数や差になっている列は、作った人が意図せず作ってしまうことがある
• 上位の候補が全部同じ点数：どの手法でも同じ答えになるのは、1つの列だけで答えが決まっているとき

この3つに当てはまったら、点数を見る前に材料の列名を全部出させます。列の意味を業務の担当者に読ませると、数分で見つかることがよくあります。作った人には分からず、業務の担当者には一目で分かる。漏れはこの非対称のところに溜まります。

予測する時点では分からない値を、材料に混ぜていないか

漏れのうち、業務のデータでいちばん多く起きるのがこの型です。提供元の資料は、回帰の形で予測するモデルについて「すべての特徴が予測ホライズンまで既知であることを前提としています」と書き、「過去でしか知られていない特徴列を削除することをお勧めします」と続けています。つまり、予測を出す時点でまだ埋まっていない列は、材料にしてはいけないということです。

• 受注が決まった後に更新される確度の列を、受注の予測の材料に入れている
• 解約の申し出を受けてから付く引き止め対応の記録を、解約の予測に使っている
• 月末に締めてから入る実績の値を、月の途中で出す予測の材料にしている
• 名寄せの処理を通した後にだけ埋まる重複の印を、見込み客の選別に使っている
• 担当者が結果を見て後から書き足したコメントを、文章の列として渡している

見分ける方法は単純です。材料の列の一覧を作り、列ごとに値が確定する時点を書き足すだけです。予測を出す時点より後に確定する列があれば、その列は落とします。この作業に道具は使えません。列がいつ埋まるかは、そのアプリを運用している人しか知らないからです。台帳の形にしておくと、次にモデルを作り直すときも使い回せます。

落とすと点数が下がります。ここで「下がったから元に戻す」が起きるのが、受け取りの失敗のうちで最も多い型です。点数は下がって当然で、下がった後の点数のほうが業務で出る数字に近い。受け取りの記録には、落とした列名と、落とす前後の点数の両方を残します。両方が残っていると、半年後に誰かが「もっとよい点数が出ていたはず」と言い出したときに、理由を示して止められます。

過去の期間では当たるのに、条件が変わると外れる

材料の漏れを取り除いても、当たらなくなる原因はもう一つ残ります。学習に使った期間と、これから使う期間で、前提そのものが違っている場合です。提供元の資料はこれを構造上の大きな相違点として挙げ、2020年と2021年のあいだに起きた需要の変化を例に出しています。そして「体制変革によるオーバーフィットは、シナリオに大きく依存しており、特定するには深い知識が必要な場合があるため、対処するのが最も困難な問題です」と書いています。

業務の側では、もっと小さな単位で頻繁に起きます。価格を改定した、主力のチャネルを入れ替えた、広告の計測の仕様が変わった、組織を統合して商談の定義が変わった、法令が変わって申込の手順が増えた。どれも「その前後でデータの意味が変わる」出来事です。境目をまたいだ期間で学習させると、期間の平均としては当たるが、今の条件では当たらないモデルが出来ます。点数は悪くならないので、受け取りの段では見つかりません。

対処は3つです。境目より後だけで作り直す。境目の前後を別のモデルとして扱う。境目が起きたことを示す列を材料に足して、変化を説明する側に置く。どれを選ぶにしても、先に必要なのは境目の一覧です。過去3年でデータの意味が変わった出来事を、日付付きで業務側に書き出させます。検証に使う量については、資料は「全履歴の10から20パーセントを検証データまたはクロス検証データ用に予約するように」と書いています。履歴が短いと常に確保できるわけではないが、それが望ましい形だという書き方です。

時間で切っていない検証は、当たったことにならない

受け取るときに必ず聞く質問がこれです。「どの期間で学習し、どの期間で試したのか」。予測の対象が時間に沿って動くものなら、試すのに使う期間は、学習に使った期間より後ろにある必要があります。前後がまざった分け方で出した点数は、未来を当てた点数ではなく、穴埋めができた点数です。

分け方は既定値で自動に決まります。提供元の資料によると、検証用のデータを明示しなかった場合、学習データが20,000件より少なければ交差検証を使い、それより多ければ学習データから1回分を取り置いて検証に回します。分割の数も自動で、学習の件数が1,000件より少なければ10分割、それ以外は3分割と書かれています。既定値が動くこと自体は問題ではありません。問題は、その既定値が時間の順番を考えているかどうかを、受け取る側が確かめていないことです。

時間に沿うものを評価する手順として、資料は次の形を挙げています。学習の済んだモデルを試験用の期間の上で少しずつ先に進めながら、複数の予測の窓で誤差を出して平均する。この手順は「バックテストと呼ばれることがあります」と書かれています。合わせて「理想的には、評価のテスト セットは、モデルの予測期間と比べて長くなります。そうしないと、予測エラーの見積もりが統計的にノイズが多く、信頼性が低い可能性があります」という注意も付いています。1か月先を当てるモデルを、1か月分だけで試した点数は、運が半分入っているということです。

先の期間まで延ばして出させた数字にも注意書きがあります。予測できる長さを超えた分は、モデルの出力をもう一度入力に戻して先へ進める形になり、資料は「元の予測ホライズンから遠くなるほど予測の精度は低下します」と明記しています。3か月先の数字と1か月先の数字が同じ表に並んでいても、確かさは同じではありません。受け取りの記録には、予測の距離ごとに誤差を分けて書かせます。なお、今の運用がどれだけ外していたかを同じ期間で並べて比べるのも同じ場面で行いますが、そこは業務の側の手順として別に整理されているので、ここでは確認項目として1つ立てるだけにします。

道具が黙って直した場所を、受け取る前に読む

この種の道具は、渡したデータをそのまま使うわけではありません。既定の設定では、材料の整形と検査が自動で走ります。検査の結果は3つの状態で表示され、資料の説明では、問題なしと、変更を適用したという状態と、問題を見つけたが直せなかったので「見直して修正してください」という状態に分かれます。受け取る側が読むべきなのは、2つ目です。直したという一覧は、成功の記録ではなく仮定の一覧だからです。

• 欠けた値の埋め方：資料には、数値の列は列の平均で、区分の列は最も多い値で補うと書かれている。空欄が「該当なし」を意味していた列では、意味が反転する
• 落とされた列：値が全部欠けている列、全行で同じ値の列、値の種類が多すぎる列（識別番号など）は、学習と検証の両方から外される
• 取り除かれた観測点：検出した間隔に合わない点は、データから取り除かれると書かれている。臨時の棚卸しや締め日の変更でずれた行が、静かに消える
• 短い系列の扱い：学習に足る点数がない系列は、落とすか埋めて学習を続けると書かれている。新商材や新しい拠点は、ここで消えるか作られた値になる
• 切られた設定：遡って見る特徴が容量に収まらないと判断された場合、その設定は切られると書かれている。狙って入れた設定が外れたまま点数が出る

この一覧を読む相手は、作った人ではなく業務の担当者です。「空欄を平均で埋めた」が業務の意味として通るかどうかは、その列を入力している人にしか判定できません。受け取りの会議では、直した一覧を上から順に読み上げて、1件ずつ「それで構わないか」を答えさせます。1件でも構わないと言えないものが残ったら、点数の話には進まない。この順番を守ると、後から「そんな処理がされていたとは知らなかった」が起きなくなります。

落とされた列名は、別の意味でも重要です。識別番号のように種類が多い列は自動で外されますが、そこに業務上の意味を持たせていた場合、たとえば拠点ごとの通し番号の先頭2桁が地域を表していたような場合、落ちた時点で地域の情報が消えます。外された列の一覧を見て、意味のある列が混ざっていたら、意味の部分だけを別の列として切り出して渡し直します。

点数の付け方を変えると、選ばれるモデルが変わる

並んだ候補から1本を選ぶのは、道具の側です。選ぶ基準は、主要な物差しとして指定した1つの数字です。つまり、どの物差しを指定するかで、選ばれるモデルが変わります。ここが業務の側の決定であることは、あまり意識されていません。

提供元の資料は、この効果をはっきり書いています。複数の系列をまとめて評価するとき、予測1件ごとに同じ重みを置く平均の取り方を選ぶと、「量が多い項目が、モデリング エラーのほとんどを占め、メトリックを大きく左右する可能性があります」とあり、その結果として「モデル選択アルゴリズムでは、少量の項目よりも、大量の項目で精度の高いモデルが優先される場合があります」と続けています。売れ筋だけ当たるモデルが自動で選ばれる、という意味です。系列ごとに同じ重みを置く平均の取り方に変えると、少量の商材も同じ重みで扱われます。

どちらが正しいかは、業務によって逆になります。欠品したときの痛みが大きい商材が少量側に並んでいるなら、系列ごとの平均で選ぶべきです。全体の金額を外さないことが目的なら、量の多い側に寄った選び方でよい。誤差の二乗を使う物差しは大きな外れに強くペナルティを付け、絶対値の物差しは外れ値に緩くなります。資料には、決定係数を予測の主要な物差しにすることは勧めないとも書かれています。また、物差しは提供側が用意したものから選ぶ形で、自作の関数は使えないという記述もあります。業務の損得をそのまま数式にはできないので、用意されたもののうちどれがいちばん近いかを人が選ぶことになります。

正規化についても1つ注意書きがあります。誤差は値の幅で割って正規化されるため、学習に使ったデータと試験に使ったデータで値の幅が違うと、正規化された数字をそのまま比べられないことがあると書かれています。学習側の幅を渡せば公平に比べられるという説明も添えられています。受け取りの場で「学習のときの点数より試験の点数がよい」という報告が出たら、この幅の違いを先に確認します。

同じデータで回しても、同じモデルが出るとは限らない

受け取りの根拠として点数を使いにくい理由が、もう一つ資料に書かれています。候補を探す処理は決まった手順を毎回同じにたどるわけではないため、「同じデータと構成から常に同じモデルが選択されるとは限りません」とあります。一度出た点数は、その日のその1回の結果だということです。翌月に同じ設定で回せば、別の手法が最良として並ぶことがあります。

だから受け取りの手順には、回数を含めます。同じ設定で2回以上回して、選ばれた手法と点数の振れ幅を見る。学習の期間を1か月ずらしてもう一度回す。最良の1本だけでなく、上位数本の点数がどれだけ離れているかを見る。上位が団子になっているなら、手法の選択はあまり効いていません。その場合に効いているのは材料の側なので、手法を選び直すより列を見直したほうが早い。

残す記録も決めておきます。作った日、使ったデータの期間、材料の列の一覧、選ばれた手法、主要な物差しとその値、道具が直した一覧、落とした列名。この7項目が残っていないと、半年後に「なぜこのモデルなのか」に誰も答えられない状態になります。外れたときに社内で説明が求められるのは、点数ではなくこの7項目のほうです。

理由を言えないモデルは、現場で上書きされる

点数が通っても、現場で使われないことがあります。理由の説明が付かないときです。この種の道具には、どの列が効いたかを示す機能が付いていますが、資料には穴が明記されています。移動平均や素朴な繰り返しのような単純な手法を含む8つの手法が最良として推奨された場合、モデルの説明の機能は使えないと書かれています。道具が最良と言ったモデルほど、説明が付かないことがあるという組み合わせです。

説明を助ける画面についても範囲があります。資料は、責任あるAIの画面が「表形式のデータを使用する場合のみサポートされ、分類モデルと回帰モデルでのみサポートされます」と書き、公開試用の段階であるとも記しています。加えて、どの列が効いたかという情報は全体としての傾向であって、「この1件がなぜこの数字になったのか」を答えるものではありません。現場が知りたいのは後者です。

説明が付かない数字は、そのまま使われません。上書きされます。発注の担当者が自分の勘で数を書き換えた時点で、モデルの点数は業務の結果と無関係になります。しかも上書きされたことは記録に残らないので、「精度が高いのに効果が出ない」という報告だけが残ります。だから受け取りの最後に、実データから3件を選んで、その数字の理由を業務の担当者に説明させる手順を置きます。説明できないなら、そのモデルは現場に出しません。

幅を付けて出す場合も同じです。自信の付き方が妥当かどうかを見る図について、資料は、検証に使ったデータが少ないと解釈が難しい結果になりやすいと注意しています。幅の出し方そのものは業務の側の手順として別に整理されているので、ここでは「幅を付けたなら、その幅の根拠になった検証データの量も一緒に見る」という1点だけを確認項目に入れます。

AIに任せる工程と、人が決める3つ

線引きをはっきりさせます。AIに任せてよいのは、材料の整形の候補出し、手法の総当たり、当てはまりの計算、点数での並べ替え、外れ方の図示です。ここは人がやっても速さと網羅で勝てません。任せてよい理由は、どれも間違っていたら数字で分かる作業だからです。一方で、次の3つはAIに出させません。データの中を見ても答えが出ないからです。

この3つは、道具の設定画面より先に、紙かひとつの文書で決めます。先に決めていないと、点数のいちばん高いモデルが自動的に業務の答えになるからです。実際に起きるのはこうです。誰も対象を定義していないので、作った人が手元のデータで作れる形に対象を寄せる。止める条件がないので、外れても止まらない。そして外れた理由を聞かれた時点で、説明できる人が社内にいないことが判明する。この順で失敗します。

逆に3つを決めておくと、道具の選定はかなり軽くなります。対象と粒度が決まっていれば必要なデータの形が決まり、使ってよい期間が決まっていれば作り直しの頻度が決まり、止める条件が決まっていれば運用に要る人手が見積もれます。製品の機能の差より、この3つの決まり具合のほうが結果を左右します。

受け取るときに通す7つの確認

受け取りの場に持っていくのは、紙1枚で足ります。点数の報告を聞く前に、次の7つを紙で出させます。1つでも空欄なら、その回では点数を見ません。この7つは、どの製品を使っていても同じです。

1. 何を、いつの時点で、どの粒度で予測させたのかを1行で書く
2. 材料の列の一覧と、各列の値が確定する時点を並べる
3. 学習に使った期間と、試すのに使った期間を分けて書く（後者が後ろにあるか）
4. 試しを何回の窓で動かした平均かを書く（1回きりの点数は受け取らない）
5. 道具が直した一覧と、落とされた列名を出す
6. 今の運用（担当者の見込みや前年同月の置き方）が同じ期間でどれだけ外していたかを、同じ物差しで並べる
7. 実データから3件を選び、その数字の理由を業務の担当者が説明する

この7つのうち、抜けやすいのは4番目と6番目です。4番目が抜けると、たまたま当たった1回の点数が根拠になります。6番目が抜けると、当たっているのかどうかを比べる相手がいないまま、「精度80パーセント」のような数字だけが社内に出回ります。比べる相手を先に決めておけば、その数字が今の運用より良いのか悪いのかが一言で言えるようになります。

通す場所も決めます。受け取りの会議には、作った人と、業務の担当者と、外れたときに損を被る部署の人を入れます。作った人だけで判定すると、身内の検査になります。損を被る部署の人が入っていると、「その外れ方なら困る」という判断がその場で出るので、差し戻しが1回で済みます。

本数が増えるほど、見極める仕事は増える

作る手間が下がると、候補は増えます。ここで起きるのが、未検証のモデルが溜まる状態です。点数だけが残り、どの期間のデータで作ったのか、誰が受け取ったのか、何を落としたのかが分からないモデルが並びます。この状態は、モデルが1本もない状態より扱いにくい。誰かが「あるはずだから使おう」と言い出せる材料が残っているからです。

だから上限を決めます。決め方は、作れる本数ではなく受け取りを通せる本数から逆算する形にします。7つの確認を1本分やり切るのに半日かかるなら、担当者が月に4回その時間を取れるなら、月に受け取れるのは4本です。作る側が20本並べても、受け取れるのは4本のままです。この数字を先に共有しておくと、候補を20本作ることが成果にならなくなります。

捨てる基準も先に書きます。3か月使われていない、人の上書きの割合が一定を超えた、材料の列の意味が変わった、業務そのものがなくなった。この4つのどれかに当たったら台帳から外し、モデルの実体も残さないと決めておきます。残しておくと、翌年に誰かが掘り出して、2年前のデータで作ったモデルが現在の発注に使われることが起きます。動かし始めた後に精度が落ちていくのを見つける仕組みは別の主題ですが、捨てる基準を先に持っておくことは、受け取りの側の仕事です。

誰に作らせるかの3択——見極めを引き受ける人で選ぶ

最後に選択の話をします。予測モデルを持つ方法は、大きく3つに分かれます。自動で作る仕組みを社内に入れて業務の担当者が受け取る形、外部の分析の会社に作らせて成果物として受け取る形、社内の分析の担当が手で組む形です。選ぶ軸を機能で置くと決まりません。決まるのは、見極めを引き受ける人がどこにいるかで見たときです。

	道具に作らせて社内で受け取る	外部に作らせる	社内の担当が手で組む
最初の1本が出るまで	数日で候補が並ぶ	契約と受け渡しの期間が乗る	1本ごとに時間がかかる
見極めを引き受ける人	業務の担当者。ここが処理能力の上限になる	受け取りの基準を先に契約へ書かないと、点数の報告で終わる	作った人が兼ねるので、身内の検査になりやすい
説明の残り方	直した一覧が記録に残るが、読む人を決めないと流れる	報告書には残るが、判断の型が社内に残らない	作り方は残るが、その人にしか読めない形になりやすい
条件が変わったときの作り直し	速い。ただし作り直した本数だけ見極めが増える	都度の見積りと発注が必要になる	その人の空き具合に左右される
本数が増えたときの詰まり所	未検証のモデルが溜まる	費用	順番待ちが伸びる

表の2行目が判断の中心です。見極めを引き受ける人が社内にいるかどうか。いないまま自動で作る仕組みを入れると、候補が溜まるだけになります。その場合の順番は、先に外部に1本か2本作らせて、受け取りの7項目を実際に使ってみて型を持ち帰り、その型で社内の道具に切り替える形になります。契約に書くのは機能ではなく、7項目を成果物に含めることです。

道具そのものの選び方については、あまり長く考える必要がありません。この分野で名前が挙がる製品としては DataRobot がよく検索されますし、大手クラウドの機械学習の基盤にも同種の機能が組み込まれています。ただし、この記事で挙げた7つの確認は、どちらを使っても変わりません。変わるのは、直した一覧をどの画面で読むか、落とした列名がどこに出るかといった見え方の部分です。選定の前にやるべきなのは、機能の比較ではなく、自社のデータで列がいつ埋まるかを一覧にすることです。

受け取りを通せなかったモデルの扱いを、先に決める

7つの確認を通せないモデルは必ず出ます。そのときの扱いを先に決めていないと、「せっかく作ったのだから」で業務に載ります。決めておく選択肢は3つです。材料を足して作り直す。粒度を粗くして作り直す。そして、予測でやらないと決める。3つ目を選べる形にしておくことが、この仕組みを安全に使う条件になります。

3つ目の中身も先に用意します。しきい値のルールで回す、上位だけを人が見る、そもそも当てなくてよい形に業務を変える。在庫を少し厚めに持つ、締切を1日遅くする、承認の順番を入れ替える。当てる精度を上げるより、外れても困らない形にするほうが安い場面は実際にあります。予測を入れる判断と同時に、この代わりの手も見積もっておきます。

通らなかったときにやってはいけないことも、先に書いておきます。以下は、受け取りの基準が形だけになる典型です。

• 点数が足りないまま参考値として現場に配る。参考値は使われる。使われた時点で参考ではなくなる
• 通らなかった理由を書かずに作り直しを頼む。同じ理由で3回落ちる
• 予測をやめる判断を失敗として扱う。次から、通らなかった事実が上がってこなくなる
• 通らなかったモデルを消さずに残す。翌年に誰かが掘り出して使う
• 受け取りの担当者を作った人と同じにする。検査の意味がなくなる

差し戻しの記録は、理由の分類まで書いて残します。材料の列の問題か、期間の問題か、粒度の問題か、説明が付かない問題か。3本目あたりから、理由が同じところに集まり始めます。集まった場所が、その会社にとっての本当の詰まりです。列がいつ埋まるかの台帳がないことが原因なら、モデルを作り直すより台帳を作るほうが効きます。

まとめ

AutoML、つまり自動で予測モデルを作る仕組みが引き受けるのは、組み立ての手間です。材料の整形、手法の総当たり、当てはまりの計算、点数での並べ替えは任せられます。一方で、何を予測させるか、どの列を材料にしてよいか、どの期間まで遡ってよいか、外れたときに誰が止めるかは残ります。しかも作る本数が増えるので、受け取る側の時間が処理能力の上限になります。分析ができる人が増えるのではなく、見極めを引き受ける人が要るようになる、という向きの変化です。

受け取る時点で確かめるのは、点数の高さではありません。満点に近い点数は、提供元の資料が書くとおり材料の漏れを疑う合図です。予測を出す時点でまだ埋まっていない列が混ざっていないか、学習の期間と試験の期間が時間で切られているか、その試しは何回の窓で動かした平均か、道具が黙って補完・除去・集計した一覧はどこにあるか。そして、点数の付け方によって選ばれるモデルが変わることも覚えておきます。予測1件ごとに同じ重みを置く平均を選べば、量の多い品目に寄ったモデルが選ばれます。同じデータと構成でも同じモデルが選ばれるとは限らないという記述もあるので、1回の点数を根拠にしないことも実務の前提になります。

AIに任せる範囲と人が決める範囲は、道具の設定より先に文書で決めます。任せるのは探索と計算まで。決めるのは、予測の対象と粒度と出す時点、使ってよい期間と列、止める条件と止める人の3つです。受け取りの場には、作った人と業務の担当者と、外れたときに損を被る部署の人を入れます。通せなかったときには、材料を足す、粒度を粗くする、予測でやらないと決める、の3つから選べるようにしておきます。当てる精度を上げるより、外れても困らない形にするほうが安い場面がある。この選択肢を最後まで残しておくことが、自動で作らせた結果を安全に受け取るためのいちばん確実な備えになります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。