欠けた数字をAIに埋めさせない｜補完してよい場所の見分け

「先月の数字だけ、どうしても1週間分が抜けています」「入力されていない項目が3割あるので、平均を入れて出しました」——数字をまとめる側からは、この2つがほぼ同じ頻度で持ち込まれます。後者は前向きな対処に見えますが、埋めた瞬間に起きることがあります。総務省政策統括官（統計基準担当）が2021年3月に示した「欠測値の補完に係る主な方法等について」の素案には、平均値を代入した場合について「標本分散については過小に評価される」と書かれています。つまり埋めるという作業は、足りない数を足す作業ではなく、そのデータが持っていたばらつきを削る作業です。この記事では、欠けの型ごとに、埋めてよい場所と埋めてはいけない場所を並べて比べます。

空欄を埋めた瞬間に、その数字は説明できなくなる

空欄のまま会議に出すと、必ず聞かれます。ここはどうして空いているのか、と。答えるのに時間がかかるので、次の回からは埋めて出すようになります。埋める判断は、たいてい分析上の必要からではなく、説明の手間を減らすために起きます。この動機で埋めた数字は、後から必ず戻ってきます。埋めた本人が異動した後に、由来を誰も答えられない列だけが残るからです。

戻ってくる順番は決まっています。まず、埋めた月の数字だけが前後より滑らかになります。次に、その滑らかさを見た誰かが、この月は安定していたと読みます。そして半年後、同じ表を使って前年比を出したときに、実測の月と埋めた月が同じ重みで割り算に入ります。埋めた1か所は、その後に作られるすべての比率に混ざっていきます。混ざった後で取り除くことはできません。

だから最初にやるのは、埋め方を選ぶことではありません。その空欄がなぜ空いたのかを1行で書くことです。1行が書けない空欄は、埋めてよいかどうかを判断する材料が手元にない空欄です。次の章から、この1行を書くための分け方を示します。分け方さえ決まれば、埋めるかどうかの判断そのものは数分で終わります。

欠けを「量」で見ると、判断を間違える

現場でまず出てくるのは割合です。3割欠けている、1割なら許容できる、といった会話になります。ところが割合は、埋めてよいかどうかを何も教えてくれません。1割しか欠けていなくても埋めてはいけない場合があり、5割欠けていても引き算で確実に埋まる場合があります。判断を分けるのは量ではなく、欠けた理由のほうです。

理由で分けると、実務で出てくる欠けはおおむね4つに収まります。測る側が動かなかった欠け、運ぶ途中で落ちた欠け、人が入力しなかった欠け、そしてそもそも起きようのない欄です。4つは見た目こそ同じ空欄ですが、取るべき手当てが正反対になります。取り直せるもの、数え方を変えるもの、絶対に触ってはいけないものが混ざっています。

4つに分ける作業は、表を眺めるだけでは終わりません。欠けている行を20件ほど抜き出し、1件ずつ、なぜここが空いているのかを確かめます。20件も見れば、理由は数種類に収束します。収束した理由を書き出したものが、この後の判断の材料になります。以降の4章で、型ごとの見分け方と扱いを順に開きます。

型①記録されなかった：測る側が動かなかった欠け

1つ目は、測る仕組みそのものが止まっていた欠けです。集計の処理が失敗した、保存先がいっぱいになった、画面の改修をした直後から一部の動きが記録されなくなった。この型の特徴は、欠けが時間でまとまって現れることです。ばらばらの行が抜けるのではなく、ある日から別のある日まで、区間として抜けます。

見分け方は単純です。欠けている行の日付を並べて、連続しているかどうかを見ます。連続していれば、その区間に行われた作業の記録を探します。改修、移行、設定の変更、障害の記録のどれかです。区間の始まりと終わりは、たいてい何かの作業日と一致します。一致しない場合は、いま現在もまだ止まっている可能性があるので、直近の数字が上がっているかを先に確かめてください。

扱いは、埋めないことです。この型は、欠けた期間を集計から外し、外したことを表に明記するのが正解です。前後の月から比例で割り戻したくなりますが、止まっていた区間に何が起きていたかは誰も知りません。割り戻した数字は、止まる前と同じ動きが続いたという仮定を置いただけのものです。仮定を置いたことは、数字の側からは読み取れません。

型②届かなかった：運ぶ途中で落ちた欠け

2つ目は、記録はされたのに、集計する場所まで届かなかった欠けです。顧客管理の仕組みと配信の仕組みと集計の表を、それぞれ別の道具でつないでいる会社では、この型が最も多くなります。突き合わせに使う鍵の書式が違う、片方で更新された分が反映されない、運ぶ処理が途中で止まる、といった形で起きます。

見分け方は件数の比較です。上流にある件数と、下流に届いた件数を同じ条件で数えます。差が出たなら、その差は欠けの量そのものです。差の中身を確かめると、たいてい特定の条件に偏っています。特定の流入元だけ、特定の担当者が登録した分だけ、特定の期間だけ。偏りがあるということは、埋めたときの偏りも同じ方向に出るということです。

この型の救いは、取り直せることです。元の側にデータが残っている限り、推測ではなく再取得で埋められます。手順は3つで、差の条件を特定する、その条件の分だけ取り直す、取り直した件数が差と一致するかを確かめる。一致しなければ、原因はもう1か所あります。埋める前にこの3つを回すと、推測が必要になる場面はかなり減ります。

型③入れ忘れ：人が入力しなかった欠け

3つ目は、人が入力する欄が空いたままの欠けです。商談の記録の理由欄、案件の規模、断られた理由、問い合わせの経路。この型がやっかいなのは、入力されなかったこと自体に偏りがあるからです。うまくいった案件の記録は厚く、途中で消えた案件の記録は薄くなります。忙しい時期ほど空欄が増えます。

つまり、空いている行と埋まっている行は、性質が違います。埋まっている行の平均を空欄に入れると、うまくいった案件の平均が、うまくいかなかった案件の欄に入ります。平均で埋めるほど、全体は実際より良く見えます。この歪みは埋めた量に比例して大きくなるので、割合が小さいから大丈夫、という話にはなりません。

扱いは、埋めずに「未入力」という値として数えることです。未入力を1つの区分として集計に出すと、空欄の量そのものが指標になります。未入力が3割ある表を見せられた側は、その3割を前提として結論を読みます。埋めた表を見せられた側は、前提があること自体に気づけません。見せ方としては前者のほうが弱く見えますが、判断は正確になります。

型④そもそも対象外：最初から起きようのない欄

4つ目は、その行に該当がないために空いている欄です。契約していないので契約日がない、無料の利用なので請求額がない、個人の申し込みなので法人名がない。この型は欠けではありません。空であることが正しい値です。埋めた時点で、存在しない事実を作ったことになります。

危ないのは、表の上では0と空欄と対象外が見分けられないことです。金額の列に0が入っていたとき、それが0円だったのか、まだ入っていないのか、そもそも請求しない相手なのかは、列を見ても分かりません。集計の道具は、この3つをまとめて0として足します。足した結果の平均は、分母の定義を説明できない数字になります。

手当ては、3つを別の表し方で分けることです。実際に0だった行は0、未入力の行は空、対象外の行は対象外と分かる印を置く。この区別は、集計する側ではなく、記録する側の設計で決まります。すでに混ざってしまった表では、区別を後から復元することはできません。次に項目を設計するときに、選択肢へ「該当なし」を明示的に足してください。

埋めてよい欠けと、埋めてはいけない欠け

ここまでの4つを、判断できる形に並べます。表の右端は、埋める代わりに何をするかです。埋めないという判断は、何もしないという意味ではありません。右端の列を空のまま「埋めない」とだけ決めると、次の会議で同じ議論が最初から起きます。

欠けの型	典型的な見え方	埋めてよいか	埋める代わりにすること
測る側が動かなかった	日付が連続した区間で抜ける	埋めない	区間を集計から外し、外した期間と理由を表に併記する
運ぶ途中で落ちた	上流と下流で件数が合わない	埋めない（取り直す）	差の条件を特定し、元の側から再取得して件数を突き合わせる
人が入力しなかった	特定の担当や時期に空欄が偏る	原則として埋めない	未入力を1つの区分として集計に出し、量そのものを指標にする
そもそも対象外	該当のない行だけが空いている	絶対に埋めない	0や空欄と区別できる印を置き、集計の分母から外す
合計と内訳の関係で定まる	内訳の1つだけが空いている	埋めてよい	引き算で求めた値であることを、別の列に記録する

表で「埋めてよい」に入るのは最後の行だけです。埋めてよい欠けは、推測しなくても値が一つに定まる欠けだけだと考えてください。合計が分かっていて内訳の1つだけが空いているなら、引き算で出た値は推測ではありません。この考え方は後の章でもう一段深めます。

表を作ったら、自社の主要な集計表で試してみてください。列ごとに、欠けがどの型かを書き入れるだけです。半日もかかりません。型を書き入れた表は、そのまま引き継ぎの資料になります。担当が替わるたびに埋め方が変わるという事故は、この1枚があるだけで止まります。

統計の側では、欠け方によって偏りが残ることが先に決まっている

欠けの扱いは、感覚で決める領域ではありません。総務省政策統括官（統計基準担当）が2021年3月26日に示した「欠測値の補完に係る主な方法等について」の素案では、欠けの発生の仕方が3つに分類されています。完全にランダムな欠測、ランダムな欠測、そしてランダムでない欠測の3つです。

同じ資料は、完全にランダムな欠測について、この場合は平均値の推定に偏りは発生しないとしたうえで、実際にそうなる場合は少ないと考えられる、と付け加えています。またランダムでない欠測、つまり欠ける確率がその項目の値そのものに依存する場合については「補完では偏りを緩和できるとは限らず、欠測メカニズムのモデル化など個別に対応を考える必要がある」と書かれています。

実務への翻訳は一つです。自分のところの欠けがどの分類に当たるかを言葉で説明できないなら、埋めない。前章の型①から③は、どれも欠けやすい条件がはっきりあります。条件があるということは、完全にランダムではないということです。完全にランダムでない欠けを平均で埋めると、偏りは消えずに見えなくなるだけです。

平均で埋めると、異常が消える

同じ資料は、代入の方法ごとに注意点も挙げています。層化平均値代入については「平均値の補完に伴い、標本分散については過小に評価される」、回帰代入については「線形回帰モデルによる理論値の代入に伴い、標本分散については過小に評価される」と書かれています。どちらも、埋めるとばらつきが小さくなるという同じ結論です。

ばらつきが小さくなるとは、実務の言葉では「異常が見えなくなる」ということです。埋めた後の表で、先月より落ち込んだ日を探しても出てきません。前年と比べて動きが激しい月を探しても、平たくなっています。欠けを埋める作業は、異常を探す仕組みの感度を下げる作業でもあります。異常を見つける作業と補完を、同じ表の上で同時に行うことはできません。

資料には、ばらつきを戻す考え方も出てきます。回帰による予測値に誤差項を加える方法が確率的回帰代入と呼ばれること、補完値を複数作って解析する多重代入法があること、そして似た性質の行から実際の観測値を持ってくるホットデック法があることです。ホットデック法では、行と行の近さを測る物差しを自分で定義する必要があり、その物差しが妥当かどうかを説明する作業が別に発生します。どれも手間の重い手続きで、毎月のレポートのために回すものではありません。月次の集計では、埋めないという判断のほうが現実的です。

最初に試すのは推測ではなく引き算

埋めると決めた場合でも、推測から入るのは順番が違います。前出の資料は、観測されている項目の関係から値を論理的に定められる場合の補完を演繹的補完と呼び、「補完に際して、一番初めに取り組むべき方法と考えられる」としています。例として挙げられているのは、費用合計の回答があり、内訳の一つにのみ欠測が生じていた場合に、引き算で算出する形です。

社内の表にも、同じ形はたくさんあります。合計と内訳、期首と期末と増減、送信数と到達数と不達数。これらは、2つが分かれば3つ目が決まる関係です。決まるということは、推測が入らないということです。引き算で埋まる欄を先に片づけると、推測が必要な欄は目に見えて減ります。

資料は、他の情報を使う補完にも触れています。他の統計調査の結果、公開情報、行政記録などを使う方法で、ただし「情報の把握時点の違いや、統計上用いている定義との違いなどに注意する必要がある」とされています。社内でも同じです。別の仕組みから持ってきた数字で埋める場合は、集計の締め日と、数え方の定義が一致しているかを先に確かめてください。

埋めるなら、埋めた印を同じ表に残す

埋めてよい欠けだと判断した場合でも、値だけを入れて終わりにしてはいけません。実測値と推測値が同じ列に並んだ時点で、その表は説明できなくなります。必要なのは、値の横にもう1列置くことです。その値がどこから来たのかを記録する列です。

列の中身は3種類で足ります。実測、引き算、推測。加えて、埋めた日付と埋めた人が分かるようにしておきます。この2列があるだけで、半年後にこの数字は何ですかと聞かれたときに答えられます。答えられる状態にしておくことが、埋めることの条件です。

最後の工程が要です。結論が埋め方で変わる数字は、報告に使ってはいけません。変わるという事実は、その数字がまだ判断の材料になっていないことを示しています。この場合にやるべきなのは、埋め方を工夫することではなく、欠けた分を取り直すか、結論の粒度を落とすことです。

保持期間と提供終了による欠けは、埋めずに境目を書く

4つの型とは別に、もう一つの欠けがあります。取れていたはずのデータが、期限や提供の終了によって見られなくなる欠けです。GA4のヘルプによれば、標準のプロパティでイベントデータの保持期間として選べるのは2か月または14か月で、有料版では最長50か月まで選べます。保持期間が終了したデータは、月単位で自動的に削除されます。

影響する範囲も決まっています。同じヘルプでは、標準の集計レポートには影響せず、データ探索とファネルのレポートにのみ影響するとされ、保持期間を超える期間を指定するとその期間のデータはレポートに表示されないと説明されています。見えないのは、無かったからではなく、取れなくなったからです。この2つを同じ空欄として扱うと、過去の落ち込みを自分で作ってしまいます。

提供そのものが終わる場合もあります。ユニバーサルアナリティクスは、標準のプロパティで2023年7月1日にヒットの処理が停止され、2024年7月1日以降は現在および過去のデータにアクセスできなくなり、すべてのデータが削除されると案内されていました。この種の欠けに対してやるべきことは、埋めることではなく年表を作ることです。いつ何が取れなくなったかを1枚に書き、比較の線をそこで区切ります。

経営報告と社外資料では、扱いを分ける

埋めた数字をどこまで外へ出すかは、別に決めておく必要があります。社内の速報、確定値、社外に出す資料の3つで扱いを変えてください。速報では埋めた値を使ってよい。確定値では埋めた行を外した集計を併記する。社外資料では埋めた数字を出さない。この3段にしておくと、訂正が必要になったときの範囲が社内に収まります。

前年比を出すときには、断り書きが要ります。比べる2つの期間で、欠けの状況が違うからです。書くことは3つあります。どの期間にどれだけの欠けがあったか、それを埋めたか外したか、そして比率の計算にどちらを使ったか。この3行がない前年比は、増減の向きだけが独り歩きします。

社外資料が厳しい理由は、訂正が届かないことです。一度配った資料の数字は、引用された先で生き続けます。出どころを後から説明できない数字を社外に出すと、訂正の連絡先すら分からなくなります。出すなら、欠けた期間を除いた実測だけで作り、対象期間を明記してください。見栄えは落ちますが、後で困りません。

AIに欠けを埋めさせると、何が起きるか

表を渡して空欄を埋めてほしいと頼むと、生成AIはすぐに埋めてくれます。問題は、何を根拠に埋めたのかが残らないことです。文章を作る道具は、正しさではなく、もっともらしさの側を最適化します。前後の月の動きに合う値が入り、系列は滑らかになり、結果として、確かめるべき段差だけが消えます。

起きる失敗は、次の形に落ちます。どれも、数字をまとめる現場で実際に見る形です。

• 表をそのまま渡して空欄を埋めさせる：対象外の欄まで埋まり、存在しない契約日や請求額が作られる
• 欠けた期間の数字を前後から推定させ、そのまま前年比に使う：推定値と実測値が同じ重みで割り算に入り、増減の向きが変わることがある
• 埋めた値を元の列に上書きする：実測値が失われ、後から取り直しても突き合わせる相手が残っていない
• 埋めた根拠を聞かずに受け取る：説明を求めればもっともらしい説明が返るが、その説明の正しさは表の中では確かめられない
• 未入力の多い項目をまとめて埋めさせる：入力されなかった側の偏りが平均に置き換わり、全体が実際より良く見える

任せてよい範囲はあります。欠けている行の抽出、欠けの分布の要約、型の候補の仕分けの下ごしらえ、引き算で定まる欄の洗い出し。任せてはいけないのは、値を決めることと、埋めてよいという判定です。この2つには、その欄がなぜ空いたのかという情報が要りますが、表の中にその情報は入っていません。

• 欠けの理由は表の外にある。作業の記録や担当者の記憶を当たらないと、型は決まらない
• 下ごしらえを任せるときも、出力に根拠の列を作らせる。どの行をどの条件で選んだのかを書かせる
• 人が確認する範囲を先に決める。全件を見るのか、埋めた行だけか、対象外の判定だけかを手順に書いておく
• 埋めた表と埋めていない表の両方を残す。上書きした時点で、確認そのものが成立しなくなる
• 社外に出す数字は、埋めた行を含めないことを既定にする。例外を出す場合は決裁の記録を残す

埋め方を磨くより、欠けを減らす側に手を戻す

前出の総務省の資料は、おわりにで一つのことを強調しています。補完の方法を整理したうえで「統計調査の実施の段階で欠測をできるだけ発生させないようにすることが何より重要である」と書かれています。補完は、発生してしまった欠けへの事後の手当てであって、最初の対策ではありません。

社内の数字でも同じです。手を戻す先は4つあります。入力を必須にする項目を絞る、選択肢に「該当なし」を足す、仕組みをつなぐ鍵を1つに決める、そして欠けの量を毎週見る。このうち効き目が大きいのは、必須項目を減らすほうです。必須が多いほど、適当な値で通す行が増え、空欄ではない形の欠けが生まれます。

欠けの量そのものを指標にすると、話が変わります。先月より欠けが増えた項目があれば、そこで何かが変わっています。欠けの増減は、仕組みの不調をいちばん早く知らせる信号です。埋めてしまうと、この信号は消えます。埋めない運用は、面倒に見えて、実は見張りの役目を兼ねています。

よくある質問

欠けが1割未満なら、平均で埋めてもよいですか

割合では決まりません。1割でも、欠けやすい条件がはっきりしているなら、埋めると偏りが入ります。判断の材料は、欠けた理由がその値そのものと無関係だと説明できるかどうかです。説明できない場合は、埋めずに、欠けた行を外した集計を併記してください。手元で説明できる形のほうが、結局は早く合意が取れます。

空欄のまま出すと、上司に指摘されてしまいます

空欄のまま出すのではなく、欠けの内訳を1行添えて出してください。どの期間にどれだけ欠け、理由は何で、集計からどう外したか。この1行があると、指摘は「なぜ空いているのか」から「いつ取り直せるのか」に変わります。後者は答えられる質問です。答えられる質問に変えることが、この記事でいう手当てにあたります。

欠けた期間を、前後の月の平均で割り戻すのは駄目ですか

前後と同じ動きが続いたという仮定を置くことになります。仮定を置くこと自体が禁止ではありませんが、置いたことを数字の側から読み取ることはできません。使うなら、割り戻した値だと分かる列を必ず添え、社外資料には出さないでください。社内でも、その値を根拠に投資の判断をすることは避けます。

補完の方法だけを生成AIに相談するのは問題ありませんか

方法の候補を挙げてもらうところまでは有効です。ただし、どの方法が自社の欠けに合うかは、欠けた理由を知っている人にしか決められません。相談する場合も、出てきた方法の根拠と、その方法が前提にしている条件を書かせ、その条件が自社で成り立つかを人が確かめてください。確かめる担当を先に決めておくと、相談が判断に化けることを防げます。

まとめ

欠けた数字を前にしたときに最初にやることは、埋め方を選ぶことではありません。なぜそこが空いたのかを1行で書くことです。書けた1行は、測る側が止まっていた、運ぶ途中で落ちた、人が入力しなかった、そもそも該当がない、のどれかに収まります。前の2つは取り直す。3つ目は未入力のまま数える。4つ目は絶対に触らない。埋めてよいのは、合計と内訳のように引き算で値が一つに定まる場所だけです。埋めた場合は、値の横に出どころの列を置き、埋めた行を外した集計を並べて、結論が変わらないことを確かめる。今週やるなら、主要な集計表の列ごとに欠けの型を書き入れる作業からで十分です。半日で終わって、来月からの判断が速くなります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。