教師データは誰が印を付ける？｜品質を左右する工程

「社内にデータはあるのでAIに分類させたいが、正解のデータをどう用意すればいいか分からない」「アノテーションを外に出したら、返ってきた印が人によってばらばらだった」——自社のデータでAIを動かそうとした担当者が、そろって同じ場所でつまずきます。教師データづくりは、人手を集めて件数をこなす作業ではありません。本当は、何を正解と呼ぶかを先に決める設計の仕事です。この記事では、正解付きのデータを作る工程そのものを、決める順番に沿って整理します。

教師データとは何か。手元にあるデータとの違い

教師データは、入力と正解が組になったデータです。問い合わせの文章に「請求について」という区分を付けたもの、部品の写真に「傷あり」という印を付けたもの、AIが返した回答に「根拠が足りない」という判定を付けたもの。どれも、入力だけでは教師データになりません。正解の側を人が与えたときに、はじめて学習や評価に使える形になります。

手元にあるデータとの違いはここにあります。顧客管理の記録も問い合わせの履歴も、件数はあっても正解が付いていません。過去3年ぶんの問い合わせが5万件たまっていても、区分の欄が空欄なら、AIから見ればただの文章の山です。「データはたくさんあるので学ばせたい」という相談は、たいてい正解を付ける工程が丸ごと抜けている状態から始まります。足りないのは量ではなく、正解の側です。

用語も整理しておきます。印を付ける作業をアノテーション、付けた印そのものをラベル、ラベルを付ける営み全体をデータラベリングと呼びます。分野によって呼び方は揺れますが、指しているものは同じです。社内で話が噛み合わないときは、たいていこの3語のどれを指しているかがずれているだけなので、最初に言葉をそろえておくと会議が短くなります。

印を付ける対象は4種類に整理できる

何に印を付けるのかで、必要な手間も、迷いが出る場所も変わります。先に全体像を並べておくと、見積もりの精度が上がります。

対象	代表的な印の付け方	迷いが出やすいところ
文章	区分を選ぶ／語句に印を付ける／語と語の関係を書く	どこからどこまでを1つの語とみなすか
画像	全体に区分を付ける／枠で囲む／輪郭を塗る／点を打つ	半分しか写っていない対象を含めるか
音声と動画	話者を分ける／区間を切る／行動に名前を付ける	区間の始まりと終わりをどこまでそろえるか
AIの出力	良否を判定する／2つの回答を比べる／危険の有無を見る	良いの基準が人によってずれる

手間は付け方によって大きく変わります。全体に区分を1つ付けるだけなら1件あたり数秒ですが、輪郭を画素の単位で塗る作業は、枠で囲む作業よりも明らかに時間がかかります。区間を切る作業も、始まりと終わりを何秒までそろえるかを決めないと、後から「ずれている」と言われて付け直しになります。どの付け方を選ぶかは、精度の要求ではなく、続けられる手間から決めるのが現実的です。

4つめの「AIの出力に印を付ける」は、生成AIを業務に入れた企業で新しく増えた仕事です。自社の基準で回答の良否を判定したデータは、そのままAIの出来を測る土台になります。外部の評価指標では測れない「自社にとって良い回答」を残せるので、社内向けの用途では最初に手を付ける価値があります。ここでも、良いの基準を言葉にしないまま始めると、判定がその日の気分で動きます。

何を当てたいのかを、先に一文で書く

工程が崩れる最大の原因は、当てたいものが曖昧なまま作業を始めることです。「問い合わせを分類したい」では足りません。誰が、いつ、その区分を見て何をするのか。ここまで書いて、はじめて区分の粒度が決まります。

たとえば「一次対応の担当者が、受信から5分以内に振り分け先を決めるために使う」と書けば、振り分け先の数がそのまま区分の数になります。「月次の集計で傾向を見るために使う」なら、粒度は粗くてよく、区分の数は減ります。同じデータでも、使う場面が違えば正解の形が変わるのです。この一文を書かずに始めると、後から区分を足したくなり、すでに付けた印を全部やり直すことになります。

書くときは、当てたい値そのものを名詞で書き切るのがコツです。「顧客の満足度を上げたい」は目的であって、当てたい値ではありません。「この問い合わせが解約の前兆かどうか」まで落とせば、印の付け方が具体的に決まります。目的と当てたい値を分けて書き、上長の確認をここで一度もらっておくと、後戻りが減ります。

ラベルの体系を決める。区分を増やすほど一致しなくなる

区分の数と、付ける人の間の一致度は逆に動きます。3区分なら境界は2か所しかありませんが、20区分にすれば隣り合う境界が一気に増え、そのすべてで判断が割れます。区分を細かくすればAIが賢くなる、という直感は逆です。細かくするほど、正解そのものが揺れます。

実務では、まず5区分前後で始め、「その他」に落ちた件数を数えて、多い塊だけを後から分けるのが安全です。あわせて「未判定」の置き場所を必ず作ります。決められないものを無理にどこかへ振らせると、間違った印が静かに混ざり込み、後から見つけられません。未判定に落ちた件は捨てるのではなく、境界の議論の材料として貯めます。

1件に複数の印を許すかどうかも、先に決める項目です。問い合わせは「請求」と「解約」の両方に関わることがあります。複数を許すと表現力は上がりますが、一致度の測り方が難しくなり、学習側の扱いも変わります。迷ったら、まず1件1区分で始め、複数選択が必要だと分かった時点で切り替えます。切り替えるときは、それまでの印を付け直す範囲を先に決めておきます。

「らしいもの」では作業できない。境界条件を書き出す

指示書で最も効くのは、定義ではなく境界の例です。「猫が写っている画像に印を付けてください」という指示は、実際には作業できません。猫のぬいぐるみは含むのか、イラストは含むのか、尻尾だけ写っているものはどうするのか。この3つを決めていないだけで、人によって印が変わります。定義文を1段落増やすより、迷う例を3つ挙げるほうが、はるかに一致度が上がります。

実際に、明確な基準を作らずに笑顔かどうかの判定を始めた作業者の記録があります。微妙な表情の画像で判断が定まらず、自分で決めた「曖昧なものは笑顔ではない側へ」という規則を数分で破り、「いや、これは笑っているよな」と判定を翻したと書かれています。基準を持たない人の判断は、本人の中でも一貫しません。次のような指示書は、書き直しの合図です。

• 「常識で判断してください」「違和感があるものは除いてください」だけで済ませている
• OK例だけを並べ、NG例と「どちらにも見える例」を載せていない
• 複数の区分に当てはまるときの優先順位を書いていない
• 判定できない件をどこに置くかが書かれておらず、作業者が自分で決めている

迷った事例は捨てずに集めます。作業者から上がってきた質問と、その回答を1件ずつ台帳に残し、次の版の指示書に例として載せます。この台帳が育つほど、新しく入った人の立ち上がりが速くなります。指示書は最初から完成しないという前提で、育てる仕組みごと設計するのが実務です。

代わりの指標で測ると、狙いから外れる

当てたい値そのものに印を付けられないとき、手に入りやすい代わりの値で済ませてしまう失敗があります。本当は「成約するかどうか」を当てたいのに、記録に残っている「商談になったかどうか」に印を付ける、という置き換えです。作業は進みますが、できあがるのは商談化を当てるAIです。

代わりの指標を使うと、AIはその代わりの指標を上手に当てるようになります。しかも数字の上では良い成績が出るので、外れていることに気づきにくい。運用に載せてから「予測は当たっているのに売上が動かない」という形で表に出ます。データの列名を見て「使えそうだから使う」と決めた時点で、この失敗の入口に立っています。

避け方は単純で、指示書の冒頭に「当てたい値」と「実際に印を付ける値」を並べて書くことです。両者が一致していないなら、その差を1行で説明します。これは代わりの指標である、と書き残しておくだけで、後任が誤読しなくなります。差が大きすぎると判断したなら、遠回りでも当てたい値そのものを集める設計に戻します。

誰が印を付けるか。3つの体制と向き不向き

印を付ける人の選び方は、件数ではなく判断に要る業務知識の深さで決まります。3つの体制を並べます。

体制	向いている場面	気をつけること
社内の業務担当者が付ける	判断に業務知識が要る／件数が数千件までに収まる	本業と兼務になり、途中で止まりやすい
専門の外部業者に頼む	件数が多い／手順を決め切れる	指示書が曖昧なら、曖昧な印がそのまま返る
不特定多数に少しずつ頼む	誰でも判断できる／大量に必要	同じ人が続かず、基準が伝わりにくい

現実には混ぜる形が多くなります。判断が難しい件は社内、易しい件は外部。この振り分けを人の勘に任せると崩れるので、難しい件の見分け方を先に決めます。「専門用語が2語以上含まれる」「画像の中に対象が5つ以上ある」といった、機械的に判定できる条件にしておくのが要点です。

あわせて、1件ごとに「誰が付けたか」と「いつ付けたか」を残します。後から一致度を調べたときに、特定の人の印だけがずれている、ある日以降だけ傾向が変わっている、といった原因を切り分けられます。この記録がないと、品質が落ちた原因を作業全体のせいにするしかなくなり、直しどころが分かりません。

立ち上げの5段。まず10〜20件を自分で付ける

いきなり大量に発注すると、指示書の穴がそのまま数万件の印に写ります。最初は自分の手で10件から20件を付けてみる、という小さな試行から始めます。ここで指示書の骨格ができます。

この5段のうち、飛ばされやすいのは3段めと4段めです。「時間がないので本番から」と始めた案件は、ほぼ例外なく途中で基準の議論に戻ります。ある作業者の記録では、1画像1秒で処理できると考えて10日で2万枚という計画を立てたものの、単調な作業による集中力の低下を織り込めず、判断が不安定になったと書かれています。試行は、品質のためだけでなく見積もりを現実に合わせるためにも必要です。

5段が終わったら、できあがったデータそのものに説明書を付けます。これは後任のためではなく、半年後の自分のためです。印の付いたデータは、由来が分からなくなった時点で使えなくなります。次の5項目を1枚に書いて、データと同じ場所に置いておきます。

• 収集元：どの系統のデータを、いつの期間ぶん取ったか
• 除外した条件：意図的に外した件（重複・テスト用・社内からの問い合わせなど）
• 想定している用途：この印を何の判断に使うつもりで付けたか
• 指示書の版：どの版で付けたか。版が混ざっている場合はその範囲
• 付けた人と期間：体制と、途中で作業者が入れ替わった時点

付ける人の間でばらつく。一致率の測り方と目安

ばらつきは「感覚」で語ると議論が終わりません。同じデータを2人以上に付けさせ、どれだけ一致したかを数字にします。ここで単純な一致の割合だけを見ると危険です。区分が2つで片方が9割を占めるなら、当てずっぽうでも8割前後は一致してしまいます。そのため、偶然でそろう分を差し引いた指標を使います。代表的なものがカッパ係数です。

読み方の目安は広く共有されています。1に近いほど一致が高く、0は偶然と同じ、負の値は偶然以下。区切りとしては0.61から0.80でかなり一致している、0.81以上でほぼ完全に一致していると解釈するのが一般的です。研究の現場では0.6を許容の下限、0.8を推奨の最低ラインとする記述が見られます。社内の実務なら、まず0.6を超えることを最初の関門に置くと運用しやすくなります。

落とし穴も知っておきます。片方の区分が極端に多い偏ったデータでは、実際にはよく一致しているのにカッパ係数が低く出ることが知られています。この性質を知らずに「一致していない」と結論すると、直す必要のない指示書をいじり続けることになります。対策は、単純な一致率と併記して読むこと。3人以上で測るときや、区分に順序があるとき（「良い・普通・悪い」など）は、それぞれ別の式を使います。順序があるなら、隣同士のずれを軽く数える重み付きの式が向きます。

一致率が低いときに直すのは、人ではなく指示書

一致率が低いと「作業者の質が悪い」と結論しがちですが、順番が逆です。低い一致率は、ほとんどの場合指示書に境界条件が書かれていないことの表れです。一致率は、作業者の出来と指示書の出来を同時に測っている指標だと考えると、手の付け方が見えてきます。

直す手順は決まっています。まず不一致になった件を全部集め、どの境界で割れたかを数えます。次に、件数の多い上位3つの境界について、実例を添えて指示書に追記します。追記した指示書には版の番号を振ります。そして同じ人に同じデータをもう一度付けさせ、一致率が上がったかを見ます。研究の現場では、この改訂を2巡回せば十分なことが多いと報告されています。3巡しても上がらないなら、境界条件ではなく区分の設計そのものを疑います。

ここに重い注意点があります。途中で指示書を変えたら、それ以前に付けた印は別の基準の印になります。版が混ざったデータをそのまま学習に使うと、AIは矛盾した正解を同時に学ばされ、かえって出来が落ちます。だから改訂のたびに、付け直す範囲を決めます。全部やり直すのが理想ですが、現実には「変更が影響する区分だけ」に絞る判断が要ります。影響範囲を1行で書いてから改訂する習慣をつけると、この判断が速くなります。

検証用のデータは、印を付ける前に切り分ける

学習に使うデータと、出来を測るためのデータは分けます。分けるのは印を付けた後ではなく、付ける前です。後から分けると、似た件が両側にまたがり、実力より良い数字が出ます。

具体的にはこうなります。同じ顧客から3件の問い合わせが来ていると、1件が学習側、2件が検証側に入ることがあります。文面がほぼ同じなので、AIは検証側の問題をすでに知っている状態になり、成績が実際より高く出ます。防ぐには、分ける単位を「件」ではなく「顧客」や「日付」にそろえることです。時間で判断が変わるデータなら、古い期間を学習、新しい期間を検証にすると、運用に近い測り方になります。

検証用のデータの作り方には、もう1つの決まりがあります。指示書の最終版だけで付け直すことです。検証用が古い基準の印で作られていると、以後の判断がすべて狂います。件数は多くなくてかまいません。数百件でも、基準がそろっていれば判断の役に立ちます。逆に、基準がばらついた1万件は、何の判断材料にもなりません。

AIに下書きの印を付けさせて、人が直す形

生成AIや既存のモデルに先に印を付けさせ、人が誤りだけを直す形は、手数を確実に減らします。区分を選ぶ作業や、文章から語句を抜き出す作業では特に効きます。ただし、この形には固有の副作用があります。

下書きに引っ張られる、という副作用です。AIが付けた印が「だいたい合っている」ように見えると、人はそのまま通します。結果として、AIの間違いの癖が、そのまま教師データに固定されます。しかも一致率は高く出るので、指標では気づけません。対策は、一定の割合、たとえば全体の1割を白紙の状態から付けさせ、下書きありの結果と比べることです。差が大きく出た区分については、下書きを使わない運用に戻します。

AIに任せない範囲を先に決めるのも要点です。区分の判定はAIに下書きさせても、境界の事例をどちらに入れるかの決定は人が握ります。あわせて、AIには根拠を書かせます。「どの語を見てこの区分にしたのか」を一緒に出させると、人の確認が速くなり、間違いの癖も見えます。ただし、その根拠の文章は正解ではありません。根拠そのものを教師データに混ぜないよう、置き場所を分けておきます。

少ない件数で効かせる。付ける順番を選ぶ考え方

全件に印を付ける必要はありません。AIが迷っている件から先に付けると、同じ手間でより早く出来が上がります。この考え方は能動学習と呼ばれ、代表的なやり方は「分類の確からしさが半々に近い件を優先する」形です。自信を持って当てられている件に印を付けても、学べるものが少ないという発想です。

公開されている実験の報告では、全体の一部だけを学習に使った状態から、機械が迷っている件を数百件選んで足すほうが、同じ件数を無作為に選んで足すより正解率が速く上がったとされています。到達する数字は扱うデータで変わるため目安として扱う必要がありますが、選ぶ順番を変えるだけで到達点が変わるという点は自社の作業にも使えます。

落とし穴も報告されています。1つは、どこで打ち切るかの判断が難しいこと。もう1つは、特定のモデルにとって都合の良い件ばかりが集まり、実際に来るデータの分布から外れていくことです。だから検証用のデータは、無作為に選んだものを別に用意します。迷っている件だけで測ると、本番での出来を見誤ります。この二重の用意を最初に組んでおけば、途中で測り直す手間が消えます。

外注するときの取り決め

外注が失敗するのは、値段と件数だけを決めて出したときです。指示書と検収の基準を先に固めれば、外注は品質の面でも社内作業より安定します。決めておく項目を挙げます。

最後の権利の帰属は、後から揉めやすい項目です。経済産業省の「AI・データの利用に関する契約ガイドライン」（初版は平成30年6月公表）は、AI開発の各段階で成果物の権利と責任の分担を契約で決めるべきことを整理しており、その中でアノテーションという語が使われています。学習用のデータセットは、元データとも学習済みのモデルとも別のものとして扱う必要があるという整理です。

実務では、検収の基準を「見た感じで問題なければ」にしないことが分かれ目になります。抜き取りで100件を見て、誤りが何件までなら合格か。この1行が書かれていれば、差し戻しの議論が感情論になりません。逆に書かれていないと、納品後に「そういうつもりではなかった」という往復が始まり、期間も費用も膨らみます。

権利と個人情報の確認

元データに他人の著作物が混ざる場合があります。著作権法30条の4は、情報解析の用に供する場合には、必要と認められる限度において利用できると定めています。この規定によって、機械学習のためのデータ収集や学習用データセットの作成が一定の範囲で認められると整理されています。ただし、この条文があれば何でも使えるわけではありません。享受を目的とする利用が併存する場合や、権利者の利益を不当に害する場合は対象外と説明されており、判断が必要な場面は残ります。

個人情報の側も確認が要ります。元データに氏名や連絡先が含まれるなら、本人に示した利用目的の範囲にAIの学習が入っているかを見ます。病歴や信条のような取得の時点で本人の同意が要る区分が混ざっていないかも確かめます。外注先に渡す行為は多くの場合「委託」に当たり、委託先を監督する義務が伴います。渡す項目を絞り、不要な列は伏せてから渡すのが基本です。

確認は4段で回せます。第1に、元データの入手経路を1行で書く。第2に、本人に説明した利用目的の範囲にこの使い方が入るかを見る。第3に、外に渡す範囲を決め、渡さない項目を伏せる。第4に、印を付けた後のデータの保管期間と消し方を決める。この4行を案件の最初に書き残しておくと、後で説明を求められたときに時間を取られません。AIに判断させるのではなく、人が確認する範囲を先に決めておくことが、ここでも効いてきます。

よくある質問

何件あればいいですか

当てたいことの難しさで変わるため、一律の目安はありません。区分が少なく、文面の型が決まっている社内の問い合わせの分類なら、数百件から手応えが出ることがあります。逆に、境界が曖昧な判定や、まれにしか出ない事象を当てたい場合は、桁が変わります。実務としては「まず数百件を作って測り、伸びが止まるかを見る」進め方が確実です。件数を先に決めるより、測りながら足すほうが無駄が出ません。

区分の名前は日本語で付けていいですか

かまいません。むしろ日本語で、業務で使っている言葉のまま付けるほうが、作業者の迷いが減ります。注意点は、似た名前を作らないことです。「請求関連」と「請求問い合わせ」のように紛らわしい2区分があると、それだけで一致率が落ちます。名前を決めたら、区分ごとに1行の説明と代表例を必ず添えます。

生成AIに全部やらせれば済みませんか

下書きは任せられますが、基準を決めることと、境界の事例をどちらに入れるかの決定は人の仕事として残ります。AIは指示された基準の中でしか判断できず、基準そのものの矛盾には気づきません。また、AIの印だけで作った教師データは、AIの癖を含んだまま固定されます。全体の1割を人が白紙から付け、AIの下書きと比べる工程を残しておくと、この癖に気づけます。

印を付ける人は何人必要ですか

本番の作業は1件1人でかまいませんが、一致率を測るための重なりだけは必ず作ります。全体の5%から10%を2人に付けさせる形が一般的です。この重なりがないと、品質が落ちても数字で示せず、指示書を直す根拠も作れません。人数を増やすより、重なりの割合を確保するほうが先です。

追加学習とRAGのどちらを選ぶかで、教師データの要否は変わりますか

変わります。文体や分類の傾向をAIに覚えさせる追加学習では、正解付きのデータが必要です。一方、社内文書をその場で渡して答えさせるRAGの形では、正解付きのデータは学習には要りません。ただし、出来を測るための検証用のデータは、どちらの形でも必要です。手段の選び方そのものは、覚えさせるか渡すかの比較を扱った別の記事の主題になります。

まとめ

教師データづくりは、人手の量で解く問題ではありません。当てたいことを一文で書き、区分と境界条件を決め、少ない件数で試して指示書を育てる。この設計の部分に時間をかけたほうが、後の作業量が減ります。ばらつきは作業者を責める材料ではなく、指示書の穴を教えてくれる信号です。一致率を測って直し、版を管理し、検証用のデータは最終版だけで別に作る。AIに下書きを付けさせる形は手数を減らしますが、引っ張られる性質があるので、白紙から付けた分と比べる工程を残します。決めておくべきことを先に決めておけば、外注も権利の確認も、後戻りのない工程になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。