AIで分析する前にデータを整える方法|精度は入力で決まる

「顧客リストをそのままAIに読ませたら、それらしい集計表が返ってきた」「けれど、その数字が合っているのかを誰も確かめられない」。分析にAIを使い始めた現場からは、この2つの声がほぼ同時に届きます。2026年版の情報通信白書を紹介する記事によれば、生成AIに社内のデータを参照させられる基盤を整えている日本の企業は24.5%にとどまるとされています。つまり多くの現場は、整っていないデータをそのまま渡している状態です。分析の精度は、AIへの問い方の巧みさで決まるのではありません。渡す前のデータがどれだけ整っているかで、答えの正しさはほとんど決まります。この記事では、AIに分析させる前に何をどう整えるか、そして整った状態をどう保つかを整理します。
カメ先生データを整えるのは、誤字や記号を直す作業だと思われがちなんだけど、本当は『言葉の意味をそろえる作業』なんだ。
カメ子表記のゆれを直すこととは違うのですか。
カメ先生ゆれを直すのは入口だね。同じ『商談』という列が、部署ごとに違うものを数えていたら、いくら形をそろえても足し算にならない。
カメ子形が同じでも、中身が別物になっていることがあるんですね。
- 汚れたまま分析させると、もっともらしい答えが返るので、誤りに気づけない
- 整える対象は表記のゆれ・重複・欠損・単位と期間・定義の違い・粒度の6つに分けられる
- 一度整えても汚れは戻る。入力時の制約と定期の点検、担当の決め方まで含めて設計する
データ分析にAIを活かす第一歩、まずは導入から始めませんか?
デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。
汚れたまま渡すと、AIは迷わず答えを出してしまう
生成AIは、渡された表の中身が正しいかどうかを確かめません。空欄があっても、同じ会社が二重に並んでいても、金額の単位が混ざっていても、そのまま数えて、整った文章と表を返します。返ってくる答えは、元データの正しさとは無関係に、いつも自信ありげです。人が電卓で集計していれば「この行だけ桁が違う」と手が止まりますが、AIの処理は止まりません。しかも説明がなめらかなので、受け取る側もつい納得してしまいます。
ここでの落とし穴は、数字が少しずれることではありません。ずれていること自体に、誰も気づけなくなる点です。手作業の集計なら、合計が合わないという形で異常が表に出ます。ところがAIは、矛盾した入力からでも一つの答えを作ってしまうため、おかしさが「読みにくさ」として表面化しません。
たとえば、同じ会社が二重に登録された行が全体の1割あるリストで、1社あたりの問い合わせ件数を出したとします。分母だけがふくらむので、実態より低い数字が出ます。その数字を根拠に「この施策は効いていない」と判断し、予算を止めてしまう。汚れたデータが作るのは間違った数字ではなく、間違った意思決定です。だから、分析の前に整えるという工程を省けません。
もう一つ知っておきたいのは、AIが自分から「このデータは不完全に見えます」と言い出す保証はない、という点です。空欄の多さや極端に外れた値に触れてくれることもありますが、触れないこともあります。触れなかったことを、問題がなかった証拠として読まないでください。異常があれば指摘するように、こちらから確認の観点として指示して、初めて安定します。
整える前に、知りたいことを一文で書く
すべての列を完璧にする必要はありません。先に「何を知りたいか」を一文で書くと、整える範囲がひとりでに決まります。たとえば「今期の問い合わせが、どの業種の、どの経路から来ているか」と書けば、必要な列は日付・企業名・業種・経路の4つに絞れます。残りの列は、今回は触らなくてよい列だと判断できます。
逆に、目的を決めないまま「まずデータをきれいにしよう」と始めると、今回の分析では使わない列の表記統一に時間を使い、途中で力尽きます。整えることは目的ではなく手段です。一文が書けないうちは、分析の設計がまだできていないと考えたほうが、結果的に早く進みます。
その一文には、期間・単位・粒度の3つを必ず入れます。この3つが抜けたまま作業を進めると、集計の途中で必ず数字が突き合わなくなります。
- 期間:いつからいつまでを数えるのか。締めの日も書く
- 単位:金額は税抜か税込か、円か千円か
- 粒度:企業の単位か、担当者の単位か、案件の単位か
書けた一文は、作業に入る前に、数字を使う人に見せて合意を取ります。ここでずれが見つかれば、失うのは数分です。整備と集計を終えてから「知りたかったのは業種別ではなく地域別だった」と分かれば、数日が消えます。一文の確認は、整備の工程で最も費用対効果の高い5分だと考えてください。
汚れの正体を6つの型に分ける
「データが汚い」とひとことで言っても、直し方も担当も型ごとに違います。6つの型に分けると、直す順番が決まります。どれか1つだけを直しても、他が残っていれば集計は合いません。まず自分の手元のデータに、どの型がどれだけあるかを数えるところから始めます。
| 汚れの型 | よくある例 | 放置すると起きること |
|---|---|---|
| 表記のゆれ | 株式会社の位置、全角と半角、空白の有無 | 同じ会社が複数社に分かれて数えられる |
| 重複 | 同じ人が別の経路から二度登録されている | 分母がふくらみ、1件あたりの数字が低く出る |
| 欠損 | 業種や従業員規模の欄が空いている | 集計から静かに外れ、傾向が偏る |
| 単位と期間のずれ | 税抜と税込、月末締めと20日締めの混在 | 足し算そのものが成り立たない |
| 定義の違い | 商談や見込み客の数え方が部署で違う | 数字は出るが、意味が読み取れない |
| 粒度の違い | 企業の単位と担当者の単位が混ざっている | 比率の分母が壊れる |
この6つのうち、最初に手を付けるべきは単位と期間のずれ、そして定義の違いです。表記のゆれや重複は後からでも直せますが、単位と定義が食い違ったままでは、そもそも数を合わせる意味がありません。見た目に分かりやすい表記のゆれから手を付けたくなりますが、順番を逆にすると作業がやり直しになります。
なお、データの品質を測る観点としては、正確性・完全性・一貫性・適時性・一意性・有効性・整合性・妥当性の8つを挙げる整理が広く使われています。ここでの6つの型は、その観点を、実務で直す手順の側から並べ直したものです。とくに見落とされやすいのが適時性、つまりデータの新しさです。更新が3か月止まっている表を最新のものとして渡せば、他の項目がどれだけ整っていても、出てくる結論は現在の実態からずれます。
表記のゆれは、機械が同じと見なせる形にそろえる
会社名は、ゆれの宝庫です。前に付く株式会社と後ろに付く株式会社、正式な表記と丸括弧の略記、全角と半角の英数字、社名の中の空白、旧社名と新社名、正式名称と略称。人が見れば同じ会社だと分かりますが、機械にとっては、すべて別の文字列です。名寄せの解説でも、この5種類あたりが代表例として繰り返し挙げられています。
直す順番は、形の統一が先で、意味の統合は後です。まず全角の英数字と記号を半角にそろえ、空白を取り除き、法人格を表す語をいったん外した状態で比べます。このとき、比べるための「そろえた形」を別の列として持たせるのがこつです。元の表記を壊さずに突き合わせができ、あとから直し方を見直すこともできます。
部署名や役職名は、会社名よりやっかいです。営業部・営業本部・第一営業部が同じ組織を指すこともあり、正解が社外からは分かりません。ここは表記の統一を目指すより、入力の時点で選択肢から選ばせる形に変えるほうが早く片付きます。直す作業を続けるより、ゆれが生まれない入り口に変えるという発想です。
住所は、会社名以上にゆれます。丁目や番地の漢数字と算用数字、建物名を書くかどうか、階数の表記、都道府県を省くかどうか。同じ拠点なのに5通りの書き方が並ぶことも珍しくありません。住所を照合の鍵に使うなら、都道府県と市区町村までに絞って比べるほうが、実務では当たりが安定します。建物名まで完全に一致させようとすると、同じ相手をほとんど拾えなくなります。
会社名は、文字ではなく番号で束ねる
表記のゆれを根本から避ける手が、法人番号を使うことです。国税庁の法人番号公表サイトでは、法人番号の指定を受けた法人の基本3情報を調べられます。基本3情報とは、商号または名称(フリガナの情報を含む)、本店または主たる事務所の所在地、そして法人番号の3つです。法人番号は13桁の数字で、法人ごとに1つ与えられます。
会社名という文字ではなく、13桁の番号を突き合わせの鍵にすると、前に付くか後ろに付くかのゆれも、略称も関係なくなります。同サイトには複数の法人番号をまとめて確認する機能があり、一度に確認できるのは最大10件とされています。件数が多い場合は、基本3情報のダウンロード機能を使う形になります。手で1件ずつ調べる運用は、数百件を超えた時点で破綻します。
注意したいのは、公表されているのが本店または主たる事務所の情報である点です。支店や事業所の単位で管理したい場合、法人番号だけでは足りず、拠点を識別する自社の番号を別に持つ必要があります。また、提供される形式や機能の仕様は変わることがあります。実際に取り込む前に、公式の案内で最新の仕様を確かめてください。
運用に乗せるときは、既存のリストに法人番号の列を1つ足し、新規の登録時にも必ず埋める形にします。問題になるのは、番号が付かない相手です。個人事業主、任意の団体、海外の法人には法人番号がありません。番号で束ねられない相手をどう扱うかを、先に決めておく必要があります。自社で採番した番号を別に持ち、法人番号がある相手はそれと対応させる形が、いちばん破綻しにくい構えです。
重複は、鍵を複数そろえてから統合する
重複を見つける鍵を1つに頼ると失敗します。会社名だけで寄せると別の会社が混ざり、メールアドレスだけで寄せると、代表のアドレスを共有している複数の担当者が1人にまとまってしまいます。実務では、企業名と所在地と電話番号のように、複数の項目が一致したときに同一とみなす判定が使われます。
統合には、取り返しのつかない失敗があります。別人を同じ人として結合すると、宛先を取り違えた郵送や配信につながり、個人情報の事故になりかねません。名寄せの解説でも、同姓同名の誤統合による誤送付が代表的な失敗として挙げられています。だから、似ているという理由だけの統合は、機械に任せないのが原則です。
機械に任せてよいのは、完全に一致する場合と、法人番号のような一意の番号が一致する場合までです。似ていると判定された組は、一覧に出して人が見て決める。自動で寄せる範囲と、人が確認する範囲を先に線引きしておくことが、事故を防ぐいちばん確実な方法です。この線引きは、作業を始める前に文書で決めておきます。
重複の害は、分析の中だけにとどまりません。同じ相手に案内が2通届けば、受け取る側の印象は確実に下がります。郵送していれば費用も二重にかかります。つまり重複の解消は、分析の精度の話であると同時に、顧客への接し方の話でもあります。統合したかどうかは、判断した日付と理由をあわせて記録に残します。後から誤りが見つかったときに、戻せるようにしておくためです。
欠損は、埋める・外す・印を付けるの3択で決める
空欄の扱いは、分析結果を静かに歪めます。よくある事故が、空欄を一律で0に置き換えることです。未回答という意味の空欄と、実測値としての0は、まったく別のものです。前者を0として平均を出せば、平均は必ず実態より低く出ます。しかも計算は成立するので、出てきた数字を見ても異常だと気づけません。
先にやるべきは、列ごとに空欄の割合を数えることです。欠損の割合が分からないまま、埋め方を議論しても意味がありません。割合が小さければ、その行を分析から外す。大きければ、その列は今回の分析には使わないという判断もあります。使わないと決めることも、立派な整備の結果です。
埋める場合は、埋めたという事実が後から分かるようにします。補完した値かどうかを示す列を1つ足しておけば、結果を見直すときに切り分けられます。埋めた値を、そのまま実測値として扱わない。この一手間が、半年後に「この数字は何だったのか」と迷う時間を減らします。
扱いを決める前に、空欄が生まれた理由を確かめます。そもそも聞いていない項目なのか、任意の入力欄で書かれなかったのか、取り込みの途中で値が落ちたのか。3つ目であれば、これは整備ではなく設定の不具合です。取り込みの設定を直さない限り、来月も同じ空欄が生まれます。手作業で埋める前に、空欄の分布が特定の期間や経路に偏っていないかを見ると、原因の見当がつきます。
単位と期間は、列名に書いてしまう
金額は税抜か税込か、円か千円か。期間は月初から月末までか、20日締めか。広告の実績は、成果が発生した日で数えるか、広告をクリックした日にさかのぼって数えるか。同じ「売上」「件数」という列名でも、出どころが違えば数え方が違います。そして、この違いは表を見ただけでは分かりません。
対策は単純で、列名そのものに単位と期間の基準を書いてしまうことです。金額_円_税抜、件数_発生日基準、のように書けば、渡された人も、AIも、取り違えようがありません。列名を長くする手間は、後で合わない数字の原因を追う時間よりも、はるかに安く済みます。
複数の媒体や部署からデータを集めるときは、集める前に基準をそろえます。集めた後で「こちらは税込でした」と分かると、作業のやり直しになります。取り込みの入口で単位をそろえるのが、最も手戻りの少ない進め方です。依頼するときに、書式の見本を1行付けて渡すと、そろい方が目に見えて良くなります。
もう一つ、抜き出した日時も記録します。締めの処理を挟む前と後では、同じ期間を指定しても合計が変わります。月初に出した数字と、月の半ばに出し直した数字が違うのは、多くの場合これが原因です。表の中に、いつ時点のデータかを1列として持たせておくと、過去の資料と突き合わせるときに迷いません。資料に載せる数字にも、同じ日付を添えます。
言葉の定義を1枚にまとめる
いちばん見つけにくい汚れが、意味の食い違いです。商談を、ある部署は先方と日程が決まった時点で数え、別の部署は見積もりを出した時点で数えている。見込み客に、資料を一度請求しただけの人まで含めるかどうかが、担当者ごとに違う。同じ列名でも、数えているものが部署ごとに違うのです。
これは表記の統一では直りません。直すには、列ごとに意味を書いた1枚が要ります。列名・意味・単位・取りうる値・更新のタイミング・その列の責任者の6項目を書いた表を作れば、集計が合わないときに、どこを見ればよいかがすぐに分かります。作るのに半日かかっても、以後の問い合わせがまとめて減ります。
この1枚は、AIに分析させるときにも効きます。表だけを渡すのではなく、定義を書いた1枚も一緒に渡す。そうするとAIが列の意味を推測で補う場面が減り、推測で埋められた部分を、こちら側が見抜けるようになります。意味の分からない列があれば、そう書かせるほうが安全です。
定義を決める会議は、放っておくと長くなります。どちらの数え方が正しいかを議論し始めると、部署の立場の話になって終わりません。実務では、正しさを決めるのではなく、今回の分析ではこう数えると決めて、日付を添えるやり方が現実的です。分析の結論に添えて、その定義も一緒に配れば、読む側が数字を誤解する余地が減ります。全社の共通定義は、その積み重ねの後で決めれば足ります。
整える手順を、6つの工程に分ける
実際の作業は、次の順番で進めると迷いません。大事なのは、直す前に汚れの量を数える工程を飛ばさないことです。量を数えないまま直し始めると、どこまでやれば終わりなのかが分からず、作業が延々と続きます。
期間・単位・粒度を含めた一文にします。今回使わない列は、はっきり対象外にします。
集計する前に生の行を見ます。空欄の入り方や、想定外の値は、目で見るのがいちばん早く見つかります。
列ごとの空欄率、重複した行の件数、法人格の表記が何種類あるかを数え、量として把握します。
分析の軸になる列と、金額の列を先に直します。使わない列は後回しで構いません。
何をどう直したかを一覧で残します。元データは上書きせず、必ず別に保管します。
直す前と後で、合計件数と合計金額がどう変わったかを確認します。説明できない増減は、直し方の誤りです。
6つ目の突き合わせは、省略されがちですが最も重要です。件数が減ったのなら、なぜ減ったのかを説明できる必要があります。説明できない差は、重複の削除しすぎか、条件の書き間違いです。
3つ目の工程で数えた値は、捨てずに残します。空欄の割合、重複した行の件数、法人格の表記の種類数。これらは、次の点検で「悪化しているかどうか」を見るときの基準値になります。最初の1回を基準として記録しておかないと、次からは良し悪しを判断できません。整備の作業と点検の運用は、この基準値でつながります。
AIに渡す前に確認する項目
整備が終わったら、渡す前に次の項目を確認します。すべてがそろっていないと渡せない、という話ではありません。そろっていない項目を自覚したうえで渡すことが、結果を読み違えないための条件です。
- 知りたいことが一文で書けていて、期間と単位と粒度が入っている
- 列名から単位と集計の基準が読み取れる
- 空欄の意味が決まっている(未回答なのか、実測の0なのか)
- 重複と判定した基準を、言葉で説明できる
- 列の意味を書いた1枚を添えている
- 取引先名や個人の情報を渡してよいか、社内の決まりを確認した
- 元データの控えが別に残っている
6つ目の確認は特に飛ばされがちです。整備の作業と、外部のサービスに渡してよいかの判断は、別の問題です。自社の決まりで扱いが決まっていない情報は、渡す前に確認をとります。
あわせて、渡した記録も残します。いつ抜き出したどの版のデータを、誰が、どの目的で渡したか。分析の結論を数か月後に見返したとき、どの版を見ていたかで解釈が変わることは珍しくありません。結論と、その根拠になったデータの版を、対にして保管します。この記録があると、数字が食い違ったときの原因の切り分けが、驚くほど速くなります。
AIに何をさせ、何をさせないかを決める
渡すときは、表の前に短い前置きを付けます。各列が何を表すか、期間はいつからいつまでか、金額の単位は何か、空欄はどういう意味か、除外した行はあるか。この5点を書いておくだけで、返ってくる集計の質がはっきり変わります。前置きのない表は、AIにとって推測の対象でしかありません。
AIには集計と根拠を書かせ、判断は人が持つ。これが分業の基本形です。どの行を除いたか、何件で計算したか、どの列を使ったかを、必ず出力に書かせます。根拠の書かれていない数字は、合っていても使いません。根拠を書かせておけば、後から人が同じ手順をたどって確かめられます。
人が確認する範囲は、先に決めておきます。合計件数、除外した件数、対象の期間。この3つだけは必ず元データと突き合わせる、と決めておけば、大きな取り違えはほぼ防げます。数字が合わないときに、AIに聞き直して辻褄を合わせにいくのは危険です。合わないときは、必ず元のデータに戻って原因を探します。
任せる範囲が適切かどうかを見分ける方法もあります。同じ表を、時間をおいて2回渡し、同じ数字が返るかを確かめることです。数字がばらつくなら、任せている範囲が広すぎます。集計そのものは表計算の関数で行い、AIには結果の読み取りと、見るべき切り口の提案だけを任せる。そう分け直すと、結果の再現性が保たれます。
汚れは必ず戻る。入力の段階で止める
一度整えても、翌月には新しい表記のゆれが入ってきます。名寄せを毎月繰り返すより、入り口を狭くするほうが安く済みます。データ品質の解説でも、入力の段階で誤りが入りにくい設計にする源流対策が、最も費用対効果が高いとされています。直す仕事を増やすのではなく、直す必要が生まれない形に変えるという考え方です。
具体的には、自由記述の欄を減らして選択肢にする、会社名は候補から選ばせる、メールアドレスの重複を登録の時点ではじく、外部から取り込む列は取り込み時に整形する、といった手当てです。人の注意力に頼る運用は、担当が変わった時点で崩れます。仕組みで防げるものは、仕組みに寄せます。
ただし、必須の項目を増やしすぎると別の問題が起きます。入力そのものが敬遠されたり、通すためだけの適当な値が入ったりします。必須にするのは、分析の軸になる項目だけにとどめ、残りは任意にしておくほうが、結果として使えるデータが集まります。
入り口は1つではない、という点も忘れずに押さえます。問い合わせのフォーム、展示会で集めた一覧、名刺を読み取ったもの、営業が手で足した行。経路ごとに、そろい方も欠けやすい項目も違います。経路ごとに整形の決まりを1つずつ書き、取り込む時点で当てはめる。どの経路から入った行かを示す列を持たせておくと、汚れが増えたときに、どの入り口から入ったのかをすぐ特定できます。
点検を運用に乗せて、汚れの再発を見つける
整備を一度きりの企画で終わらせないために、点検を運用の中に置きます。見る項目、見る数字、頻度、直す担当の4つを決めれば、点検は続きます。逆に、この4つのどれかが空欄のままだと、最初の1回で消えます。
| 点検の項目 | 見る数字 | 頻度 | 直す担当 |
|---|---|---|---|
| 重複 | 同じ企業名が2件以上ある件数 | 月1回 | リストを管理する担当 |
| 欠損 | 業種と規模の空欄の割合 | 月1回 | 入力した部署 |
| 表記 | 法人格の書き方が何種類あるか | 四半期に1回 | リストを管理する担当 |
| 定義 | 定義の1枚と、実際の入力のずれ | 半期に1回 | 各部署の責任者 |
あわせて、直す判断のしきい値も決めます。たとえば「業種の空欄が1割を超えたら、その月のうちに埋める」といった形です。誰の仕事かを決めないと、点検は必ず消えます。担当は、データを使う人ではなく、入力する部署に持たせるほうが定着します。
責任の持たせ方は、2段構えにします。その項目の意味を決める人と、日々の品質を保つ実務の担当を分ける形です。意味を決めるのは業務の部署、実務はリストを管理する担当。この2つを1人に押し付けると、判断が止まったときに作業ごと止まります。最初から全項目を対象にせず、経営の会議で使う数字にひもづく列から始めるのが、続けやすい進め方です。
整備でやりがちな失敗
最後に、実際につまずきやすい点をまとめます。どれも、作業そのものより段取りの問題です。
- いきなり全部の列を整えようとする:終わりが見えず、途中で止まって手つかずのまま残る
- 元データを上書きして直す:直し方を間違えたときに戻せず、被害が確定する
- 空欄を一律で0に置き換える:未回答が0として平均に入り、実態より低い数字が出る
- 似た名前を機械にまとめて統合させる:別の相手が結合され、誤送付の事故につながる
- 整えた後の運用を決めない:入力の形が元に戻り、数か月で同じ作業をやり直す
- 出てきた数字を元データと一度も突き合わせない:誤りに気づく機会が最後までない
この6つのうち、最も損失が大きいのは最後の2つです。運用が決まっていなければ整備は毎年やり直しになり、突き合わせをしなければ、誤った数字がそのまま社内の共通認識になります。
6つに共通しているのは、終わりの決め方が無いことです。どこまで直せば分析に使えるのかを決めずに始めるから、全部を直そうとして止まり、終わったかどうかも判定できず、次に同じ作業を繰り返します。最初に書いた一文と、そこで数えた汚れの量。この2つが、着手の基準であり、同時に終わりの基準にもなります。
まとめ
AIに分析させる前のデータ整備は、直す作業ではなく、意味をそろえて、汚れが戻らない入り口を作る仕事です。まず知りたいことを一文で書き、汚れを6つの型に分けて量を数える。会社名は法人番号で束ね、重複は複数の鍵で判定し、似ているだけの統合は人が見る。単位と期間は列名に書き、言葉の定義は1枚にまとめて一緒に渡す。そしてAIには集計と根拠を書かせ、判断は人が持つ。まずは手元のリストで、業種の欄がどれだけ空いているかを数えるところから始めてみてください。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
データ分析にAIを活かす第一歩、まずは導入から始めませんか?
デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。
