コンテンツモデレーションをAIで回す｜消す線は人が決める

「コンテンツモデレーションは大手のSNSや動画サイトの仕事で、うちのような会社には関係ない」「レビュー欄に変な書き込みが来たら、気づいた人が消している。それで足りているはず」。こうした受け止め方は、法人のマーケ担当やWeb担当の間でいまも根強くあります。けれども、ユーザー会のオンラインの場、UGCキャンペーンの投稿受付、製品のレビュー欄、オウンドメディアや動画のコメント欄を持っている時点で、その会社はもう自分の場に入ってくる投稿を審査しています。足りていないのは作業の量ではありません。本当は、何を消し、何を残し、誰が戻すかという線が、言葉になっていないことが問題です。この記事では、自社の場に投稿される物をAIで一次の振り分けにかけながら、消す線と最終判断を人が持つ運用の組み方を整理します。

モデレーションは大手SNSだけの仕事ではない

コンテンツモデレーションとは、利用者が投稿した文章や画像や動画を確かめ、場の決まりに反するものを非表示にしたり削除したりする運用のことです。日本語では投稿監視や投稿審査とも呼ばれます。言葉の響きから巨大なプラットフォームの話に聞こえますが、仕組みとしては、投稿を受け付ける欄を持つすべての運営者に関わります。

BtoBの会社でも、投稿を受け付ける場は思ったより多くあります。導入企業どうしが質問し合うユーザー会のオンラインの場、事例や使い方の投稿を募るUGCキャンペーン、製品ページのレビュー欄、オウンドメディアの記事へのコメント欄、自社の動画チャンネルのコメント欄などです。どれも、投稿が載った時点で、その場を運営する会社の見え方の一部になります。

問題は、多くの会社でこれが「気づいた人が消す」状態のまま回っていることです。担当者の感覚で消すと、同じ種類の投稿が日によって残ったり消えたりします。投稿した側から見れば、なぜ自分の投稿だけが消されたのか分かりません。基準のない削除は、それ自体が不信の種になります。AIを入れる前に、この状態をほどく必要があります。

まず自社の場を棚卸しする

最初の作業は、投稿を受け付けている場を一覧にすることです。マーケ部門が運営するキャンペーンの投稿受付、カスタマーサクセスが持つユーザー会の場、広報が持つ動画チャンネル、Web担当が持つ記事のコメント欄と、持ち主が部門ごとに散らばっていることがよくあります。一覧にすると、誰も基準を持たずに開いたままの欄が見つかることも珍しくありません。

一覧には、場ごとに5つの欄を作ります。誰が投稿できるか（会員だけか、誰でもか）、投稿はすぐ載るのか確認後に載るのか、1か月にどのくらいの件数が来るか、いま誰が見ているか、消したことがあるならどんな投稿だったか、です。事前に確認してから載せる場と、載ったあとに確かめる場では、AIを置く位置がまったく違うため、2つめの欄は特に丁寧に埋めます。

棚卸しの結果、件数が少なく会員だけが投稿できる場なら、AIを入れずに人が全件を見るほうが早いこともあります。AIの一次振り分けが効くのは、件数が多い場、誰でも投稿できる場、夜間や休日にも投稿が来る場です。場ごとに「人が全件を見る」「AIで振り分けて人が一部を見る」のどちらで回すかを、この段階で決めておきます。

削除基準を書く：何を消すかを先に言葉にする

棚卸しの次は、削除の基準を文書にすることです。外向けにはコミュニティガイドラインや投稿の決まりと呼ばれます。書き方の要点は、消す理由を「不適切なもの」のような広い言葉で済ませず、類型ごとに具体的に並べることです。宣伝目的の繰り返し投稿、他人の個人情報の書き込み、特定の人への攻撃、権利を侵す画像、場の主題と無関係な投稿、といった粒度まで分けます。

類型ごとに、消すのか、非表示にして本人にだけ見える状態にするのか、注意を返すのか、という措置も決めておきます。すべてを削除で処理すると、軽い違反と重い違反の区別がつかなくなります。類型と措置を組にして書くことが、あとでAIに振り分けを任せるときの土台になります。AIに渡す指示も、この組をそのまま使えるからです。

もう一つ、基準には「消さないもの」も書きます。製品への不満、使いにくさの指摘、他社製品との比較、厳しい言葉づかいの感想は、決まりに反しない限り残す、と明記します。消すものだけを書いた基準は、運用するうちに解釈が広がり、気に入らない投稿まで消す口実になりがちです。消さないものの一覧が、その広がりを止める歯止めになります。

基準を改める権限を誰に置くか

基準は一度書いたら終わりではありません。新しい種類の迷惑投稿が出てきたり、キャンペーンの趣旨が変わったりするたびに直す必要が出てきます。そのとき誰が直してよいのかを決めていないと、現場の担当者がその場の判断で基準を広げ、文書と実際の運用がずれていきます。

おすすめは、基準の文書に持ち主を1人置き、改定は持ち主と法務や広報の確認を経て行う形です。現場の担当者には、迷った投稿を持ち主に上げる道だけを用意します。日々の判断をする人と、判断の物差しを変える人を分けることで、目の前の1件に引きずられて基準そのものが動くのを防げます。

改定したときは、版の番号と日付、変えた理由を残し、公開している決まりの文面も同じ日に差し替えます。投稿した人から「前は消されなかったのに」と言われたとき、いつ何が変わったかを示せるようにするためです。AIに渡している指示文も、基準の版と対にして管理します。基準を直したのに指示文が古いまま、というずれは、実務でよく起きる失敗です。

大規模プラットフォームに課された型を手本にする

参考になるのが、国の制度で大規模なプラットフォームに課された型です。総務省によると、プロバイダ責任制限法を改めた情報流通プラットフォーム対処法が2025年4月1日に全面施行されました。平均月間発信者数1000万人などの要件で指定された大規模な事業者には、削除の基準を定めて公表すること、削除の申出に7日以内に判断して通知すること、運用状況を公表することなどが求められています。公表項目には、AIを用いた削除件数やアカウント停止件数、日本語を理解するコンテンツモデレーターの数と体制の説明も含まれます。一般の企業の場はこの指定の対象ではありません。

それでも、この型は自社の場の運用を組むときの手本になります。基準を先に定めて公表し、その基準に沿って措置をとる。申出には期限を決めて答える。運用の結果を数字で振り返る。この3つは、規模にかかわらず、投稿した人に対して運営の筋を通すための骨組みだからです。

特に実務で効くのが、公表項目に「AIを用いた削除」と「人の体制」が分けて並んでいる点です。自社の記録も同じ発想で、AIの判定で措置した件数と人が判断した件数を分けて数えておくと、AIにどこまで任せているかを後から説明できます。法令の細目に踏み込む必要はなく、AIによる措置と人による措置を分けて記録するという考え方だけを借りれば十分です。

AIに任せる作業はどこまでか

投稿の審査は、AIが一次の振り分けを担い、判断の難しいものを人が見る組み合わせが一般的になっています。投稿監視の委託を手がける会社の解説でも、自動検出のツール、人の目視、AI、そしてAIと人を組み合わせる型の4つが紹介され、組み合わせる型では、AIが最初の選り分けをして判断の難しいものを人が精査すると説明されています。

自社の場でAIに任せてよい作業は、4つに絞れます。1つめは、基準の類型に明らかに当たる投稿の一次振り分けです。2つめは、灰色の投稿に「どの類型に近いと考えたか」の理由を付けて印を付けることです。3つめは、類型ごとの件数や時間帯の傾向を集計することです。4つめは、集計から見えた新しい投稿の型をもとに、基準の改訂案を下書きすることです。

反対に、何を消すかの基準そのもの、自動で消してよい類型の範囲、異議への判断、誤判定をどの周期で確かめるか、記録をどこまで残すかは人が決めます。AIの印はあくまで判断の材料で、最終の措置は基準の持ち主が責任を持つ形にしておきます。AIに理由を書かせるのは、人がその理由を読んで判断を覆せるようにするためです。

作業	AIに任せる範囲	人が持つ判断
一次の振り分け	基準の類型に明らかに当たる投稿を選り分ける	自動で消してよい類型の範囲を決める
灰色の投稿	近い類型と理由を付けて印を付ける	残すか消すかを決める
集計	類型ごとの件数と時間帯の傾向をまとめる	傾向から何を問題とみなすか決める
基準の見直し	新しい投稿の型から改訂案を下書きする	改定するかを決め、版を上げる
異議	異議の内容と元の投稿をまとめて並べる	戻すかどうかを決める

自動で消してよい類型を絞り込む

AIの判定だけで人を通さずに措置してよい類型は、できるだけ狭くします。目安は、誰が見ても判断が割れず、残しておくと害が大きく、間違って消しても投稿者の不利益が小さいものです。典型は、同じ文面を大量に貼り付ける宣伝投稿、外部の怪しいページへ誘導するだけの投稿、他人の電話番号や住所の書き込み、すでに確認済みのなりすましと同じ型の投稿です。

個人情報の書き込みは、判断よりも速さが大事な類型です。載っている時間が長いほど広がるため、AIが検知した時点でまず非表示にし、あとから人が確かめる順番にします。ここでも削除ではなく非表示にとどめておくと、誤って隠した場合に戻せます。取り返しのつかない削除は人の判断を通し、AIの即時の措置は戻せる非表示までにするという線は、多くの場に当てはまります。

自動の類型は、最初は2つか3つから始め、抜き取りの結果を見ながら広げます。最初から広く設定すると、AIの誤りがそのまま投稿者への不当な措置になります。広げるかどうかを決めるのは基準の持ち主で、AIが「この類型も自動にできそうです」と提案してきても、その提案を採るかは人が決めます。

必ず人が見る類型を先に決める

反対に、AIが「違反の疑い」と印を付けても、必ず人が見てから措置を決める類型も先に書き出しておきます。代表は、製品やサービスへの批判、問い合わせが解決しないことへの苦情、自社にとって不利な事実の指摘、冗談なのか悪意なのか読み手によって割れる投稿です。これらは言葉が強くなりやすく、AIが攻撃的な投稿と取り違えやすい類型でもあります。

もう一つ人が見るべきなのが、文脈で意味が変わる投稿です。業界の専門用語や社内の通称、導入企業どうしの内輪の冗談は、外から見ると乱暴な言葉に読めることがあります。ユーザー会の場のように常連が集まる場所ほど、この種の取り違えが起きやすくなります。常連の投稿を誤って消すと、場の一番の担い手を失います。

人が見る類型に入った投稿は、AIの印と理由を添えて担当者の確認待ちの列に入れます。担当者は理由を読み、基準のどの類型に当たるか、当たらないかを判断して記録します。AIの理由が外れていた場合も、その外れ方を記録に残しておくと、後の見直しで指示文や類型の書き方を直す手がかりになります。

自社に不利な正当な批判をAIの判定で消さない

この運用で最も重い線がここです。製品の不具合の指摘、対応の遅さへの不満、価格への疑問といった投稿は、自社にとって耳の痛い内容ですが、場の決まりに反していない限り消してはいけません。AIは言葉の強さや否定的な調子に反応して印を付けることがあるため、否定的な投稿と、決まりに反する投稿を、AIの段階で混ぜない設計が要ります。

正当な批判を消した事実は、外から必ず見えます。投稿した本人が消されたことに気づき、別の場所で「都合の悪い声を消す会社だ」と書けば、元の批判よりはるかに大きく広がります。外のSNSで荒れたときにどう気づき、どう初動をとるかは「SNSの荒れにはいつ気づける？｜広がる前に拾う観測」で扱っていますが、その火種を自分の場の削除で作らないことが先です。

具体的には、AIへの指示文に「製品やサービスへの不満や批判は、それだけを理由に違反と判定しない」と明記し、批判を含む投稿は自動の措置の対象から外します。そのうえで、批判を含む投稿に措置をとる場合は、基準の持ち主か、その代わりを務める人の承認を必須にします。批判への返し方そのものは、返信の運用の領域です。

灰色の投稿は保留の箱で扱う

実際の運用で手間がかかるのは、明らかな違反でも明らかな問題なしでもない、灰色の投稿です。消すか残すかをその場で決めきれない投稿を、担当者がそれぞれの感覚で処理すると、基準の運用がばらつきます。そこで、灰色の投稿をいったん入れる「保留」の箱を作り、決める人と決める期限を決めておきます。

保留の箱には、AIが付けた近い類型と理由、似た過去の判断の例を並べて入れます。担当者は数件ずつまとめて見て、残す、非表示にする、本人に注意を返す、のどれかを選びます。決めきれないものは基準の持ち主に上げ、持ち主の判断を次から使える例として記録に足します。こうして判断の例が積み上がると、灰色の範囲は少しずつ狭くなります。

保留にしている間、投稿を表示しておくか隠しておくかも場ごとに決めます。事前に確認してから載せる場なら、保留の投稿は載せないまま待たせます。載ったあとに確かめる場なら、害が大きい疑いのあるものだけを隠し、そうでないものは表示したまま判断を待つ形が無理のない落としどころです。保留の期限を過ぎた投稿が溜まっていないかも、週に一度は確かめます。

消したあとの異議の窓口と戻す判断

措置をとった以上、投稿した人から「なぜ消したのか」と問われることは避けられません。異議を受け付ける窓口を先に用意し、公開している決まりの中で案内しておきます。窓口は専用の入力欄でも問い合わせの窓口の一項目でも構いませんが、受けた異議が担当者の個人の受信箱に埋もれない形にします。

異議への答えは、元の措置をした担当者とは別の人が判断するのが原則です。同じ人が見直すと、最初の判断を守る方向に引っ張られるからです。AIには、異議の内容、元の投稿、措置の理由、当てはめた基準の類型を1枚にまとめさせ、判断する人の手間を減らします。戻すかどうかの判断はAIに任せず、人が基準に照らして決める線は崩しません。

答える期限も決めておきます。大規模なプラットフォームには申出に7日以内に判断して通知する型が課されていますが、自社の場では体制に合わせて現実的な日数を決め、決まりの中に書いておけば十分です。戻すと決めた場合は、投稿を元の状態に戻し、本人にその旨を伝え、記録に「誤った措置」として残します。この記録が、次の見直しの材料になります。

誤判定の抜き取り確認と見直しの周期

AIの判定には、消しすぎと見逃しの2種類の誤りがあります。消しすぎは、問題のない投稿に違反の印を付けること。見逃しは、違反の投稿を問題なしとして通すことです。どちらも、日々の運用だけでは気づきにくい誤りです。そのため、AIが「問題なし」とした投稿と「違反」とした投稿の両方から、定期的に一部を抜き出して人が見直す仕組みを置きます。

周期は、件数と場の性格で決めます。始めたばかりの頃は週に一度、運用が落ち着いたら月に一度が目安です。抜き出す件数は、担当者が1時間ほどで見られる量にとどめます。抜き取りで見つかった誤りは、AIの指示文の直しと基準の類型の書き直しのどちらで手当てするかを分けて記録します。指示文の問題なのに基準を変えてしまうと、物差しが不要に動きます。

見直しの結果をまとめる作業は、AIに下書きさせてよい部分です。類型ごとの誤りの件数、異議で戻した件数、新しく現れた投稿の型を並べさせ、基準の持ち主が読んで改定するかを決めます。下の表は、見直しの周期と見る人の割り当ての一例です。周期そのものは場の件数に合わせて人が決めてください。

見直しの項目	周期の目安	見る人
AIが問題なしとした投稿の抜き取り	立ち上げ期は週1回、安定後は月1回	現場の担当者
AIが違反とした投稿の抜き取り	同上	現場の担当者
異議で戻した投稿の振り返り	月1回	基準の持ち主
自動で消してよい類型の範囲	四半期に1回	基準の持ち主と法務または広報
基準の文書と指示文の版の照合	改定のたび	基準の持ち主

記録の残し方：何を、なぜ、誰が

措置の記録は、後から説明を求められたときに会社を守る材料になります。残すのは、投稿の内容と日時、とった措置、当てはめた基準の類型と版、AIの判定か人の判断か、人の判断なら誰が決めたか、異議の有無と結果です。投稿の内容は、本文を消しても記録の側には一定期間残すようにします。

記録の範囲を決めるのも人です。何でも残せばよいわけではなく、個人情報が書き込まれた投稿をそのまま記録に残すと、今度は記録が個人情報の置き場になります。個人情報を含む投稿は、措置の事実と類型だけを残し、本文は保存期間を短くするなど、記録そのものの扱いを決めておきます。保存の期間と見られる人の範囲も、社内の情報管理の決まりに合わせます。

記録がそろうと、運用の数字が取れるようになります。1か月の投稿件数、措置の件数、そのうちAIの判定による件数と人の判断による件数、異議の件数と戻した件数です。大規模な事業者の公表項目と同じく、AIと人を分けて数えておくと、AIに任せている割合が上がりすぎていないか、異議が増えていないかを経営に説明しやすくなります。

生成AIで作られた投稿が増えたときの備え

投稿の審査の側でも、生成AIの広がりは無視できません。投稿監視の委託会社の解説でも、生成AIの進化で偽物と本物の見分けが難しくなり、投資詐欺の広告や虚偽の動画が増えて、従来の検出の手法では対応が難しくなっていると指摘されています。自社の場でも、もっともらしい文面の宣伝投稿や、実在の社員や製品を装う投稿が入ってくる余地があります。

ここで気をつけたいのは、「AIで作られたように見える」という理由だけで消さないことです。利用者が生成AIの手を借りて書いた丁寧な質問や感想まで消してしまえば、正当な投稿者を締め出すことになります。基準の類型は、作り方ではなく中身で書きます。なりすまし、誤った情報の拡散、宣伝目的の繰り返しといった中身に当たるかどうかで判断します。

自社の社員や製品を装うなりすましは、見つけたら型として記録し、同じ型の投稿をAIの一次振り分けで拾えるようにします。ただし、なりすましかどうかの最初の見極めは人が行い、確認できた型だけを自動の類型に足します。外のSNSで自社の名前を騙る投稿に削除を申し出る側の手順は「SNSの中傷が消えない原因と申し出方｜窓口と期限を知る」で扱っています。

委託しても自社に残るもの

件数が多い場や、夜間や休日も投稿が来る場では、投稿の審査を外部に委託する選択肢もあります。委託先がAIの一次判定と有人の確認を組み合わせて提供していることも多く、自社で体制を作るより早く始められます。委託先の示す判定の精度や処理の件数は、各社の自己申告であることを踏まえて読みます。

ただし、委託しても手放せないものがあります。何を消すかの基準、自動で措置してよい類型の範囲、批判を含む投稿の扱い、異議への最終判断、記録の範囲です。委託先に渡すのは作業であって、場の決まりの持ち主の立場ではないと考えてください。基準を委託先の標準の決まりに合わせてしまうと、自社の場の性格に合わない削除が起きます。

委託するときは、基準の文書と版、人に上げる類型、上げる先と期限、措置の記録の項目と受け渡しの頻度を、契約の前に文書で取り決めます。委託先からの記録も、AIの判定と人の判断を分けて受け取ります。抜き取りの見直しは委託先の報告だけに頼らず、自社の担当者も一部を自分の目で見ることを続けます。

• 基準を書かないまま、AIの判定の既定値で投稿を消している
• 製品への不満や批判を、言葉が強いという理由でAIに自動で消させている
• 削除と非表示を区別せず、誤って消した投稿を戻せない
• 異議を、最初に措置した担当者が自分で見直している
• 委託先の標準の決まりをそのまま自社の場の基準にしている

よくある質問

投稿が月に数十件しかない場でもAIは要りますか

件数が少なく、会員だけが投稿できる場なら、人が全件を見るほうが早く確実なことが多いです。その場合も、削除の基準と異議の窓口、記録の項目は同じように決めておきます。AIは、件数が増えたときや夜間の投稿が増えたときに足せば間に合います。

AIの判定理由は投稿者に伝えるべきですか

伝えるのは、当てはめた基準の類型と措置の内容です。AIが付けた理由の文面をそのまま送ると、誤りを含んでいた場合に混乱を招きます。人が確かめたうえで、基準のどの項目に当たったかを伝える形にします。

場を持つべきか、どう育てるかも知りたいのですが

本稿は、すでにある場に入ってくる投稿の扱いに絞っています。企業が場を持つ目的や立ち上げの最小構成、やめ方は「SNSの集まる場は企業に要る？｜濃い接点を育てる」で、コメントへの返信の決まりは「SNSのコメント返信ルール一覧｜迷わず返せる運用に」で、UGCの集め方と許諾は「UGC活用に生成AIを活かす方法｜お客様の声を資産に変える」で扱っています。

• 情報流通プラットフォーム対処法の施行日、指定の要件、7日間の期限、運用状況の公表項目は、総務省の公式ページと省令・ガイドラインの策定の概要（2025年3月11日公表）に基づきます
• 審査の4つの型と生成AIによる変化は、投稿監視を手がける会社の解説（2025年12月更新）に基づきます。委託各社の精度や件数の数値は自己申告です
• AIに任せる作業と人が持つ判断の分け方、見直しの周期の目安は本稿の整理です

まとめ

コンテンツモデレーションは大手のプラットフォームだけの仕事ではなく、ユーザー会の場、UGCキャンペーン、レビュー欄、コメント欄を持つ法人がすでに担っている運用です。まず場を棚卸しし、消す類型と措置を組にした基準を書き、消さないものも明記します。基準の持ち主を決め、改定の手順と版の管理を整えれば、AIに振り分けを任せる土台ができます。

AIに任せるのは、明白な類型の一次振り分け、灰色の投稿への理由付きの印付け、件数と傾向の集計、基準の改訂案の下書きまでです。何を消すか、自動で措置してよい類型、異議への判断、誤判定を確かめる周期、記録の範囲は人が持ち続けてください。そして、自社に不利な正当な批判だけは、AIの判定で消さない線を最初に引いておくことが、場の信頼を守る一番の備えになります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。