調査のAIボットが混ざる原因とSentry|回答の入口で止める線

調査のAIボットが混ざる原因とSentry|回答の入口で止める線

「調査会社から納品された回答の自由記述が、どれも妙に整っていて同じ言い回しばかりだった」「回答の品質チェックはしていると言われたが、AIが答えた分まで本当に除けているのか分からない」——ネット調査の結果を商品企画や調査リリースに使う担当者から、ここ一年で急に増えた相談です。米国の CloudResearch は、回答者が調査に入る前に行動と端末を見てふるい分ける事前審査 Sentry に、2025年12月にAIエージェントの検出を、2026年6月には端末単位の不正検知を加えたと公表しました。ただし、事前審査を入れれば混入の問題が片づくわけではありません。本当に決めるべきなのは、その審査を誰の契約で置き、落とした判定の根拠を誰が持つかです。この記事では、Sentry のような事前審査を自社で入れるか、調査会社に課すか、集めた後の除外で済ませるかを比べ、端末の情報の渡り方と誤除外の扱いまでを整理します。


カメ先生カメ先生

AIの回答が混ざる問題は、集めた後に怪しい回答を探して消せばよいと思われがちなんだ。でも本当は、AIのほうが人より注意確認の設問を上手に通ってしまうから、答えの中身だけを見ていると見逃しが増えていく。


カメ子カメ子

答えの中身ではなく、答え方のほうを見る必要がある、ということですか。


カメ先生カメ先生

そう。マウスの動きや打鍵、端末の特徴を入口で見るのが事前審査の考え方だね。ただそれは、回答者の端末の情報を海外の事業者に渡すことでもあるし、本物の人を落とすこともある。


カメ子カメ子

入口で止める仕組みを入れるほど、誰がその判定に責任を持つのかを決めておく必要がある、ということなんですね。


この記事のポイント
  • CloudResearch Sentry は、回答者が調査に入る前に15〜30秒の審査で行動・端末・自由記述を見て、AIエージェントや重複・不正の回答者を供給元に戻す事前審査
  • 置き方は「自社で契約して入口に置く」「調査会社に事前審査を課す」「集めた後の除外だけ」の三つ。調査の用途と、判定の根拠を誰が持てるかで選ぶ
  • 端末の指紋や操作の記録が米国の事業者で処理される点、本物の回答者を落とす誤除外の扱い、除外の基準と記録の持ち主を、導入前に決めておく

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

目次

CloudResearch Sentryとは:調査の入口で回答者をふるい分ける事前審査

CloudResearch は、米国の研究者や調査会社向けに、回答者を集める市場(Connect)や調査の実施の道具を提供してきた会社です。大学の行動研究で使われてきた経緯があり、回答の品質に関する検証記事を自社のブログで数多く出しています。Sentry はその中の一製品で、回答者が本来の調査画面に入る前に、15〜30秒ほどの審査を挟む仕組みです。製品ページの図では、回答者の供給元から Sentry を通って調査に入る流れが示されています。

置き方は、調査への転送用のURLを差し替えるか、APIでつなぐ形です。公式の説明では Qualtrics や SurveyMonkey など主要な調査画面の道具と組み合わせられ、回答者の供給元も選ばないとされています。複数の供給元から回答者を集める案件では、供給元をまたいで同じ人が何度も入ってくるのを防げることも売りの一つです。審査に落ちた回答者は調査に入らず、供給元に戻されます。

審査の中身は、注意と誠実さを見る短い設問(設問集から出題され、標準の型では4問中3問で通過)、画面の移動・貼り付け・過度な文字選択などの操作の追跡、自由記述をAIで採点する型、端末の指紋、IPアドレスの重複、翻訳の使用の検出、位置の確認などです。研究者の側では、回答者ごとに通過したか、落ちた理由が何か(たとえばIPアドレスの重複や端末の指紋の不良)を見られ、供給元ごとの品質の比較もできると説明されています。

2025年12月から2026年6月の動き:AIエージェントの検出と端末単位の検知

2025年12月12日、CloudResearch は自社の検出の仕組みがAIエージェントの回答をどこまで見分けられるかを検証した結果を公表しました。人の回答約500件とAIエージェントの回答約500件を混ぜ、どちらか分からない状態で判定させたものです。見ているのは答えの中身ではなく、マウスの軌跡、打鍵のリズム、画面を動く速さといった答え方の癖です。人の手の動きは行き過ぎや戻りが多いのに対し、AIは整いすぎた動きをするという説明です。

2026年6月2日には、自社の検出をすり抜けるAIエージェントを作れたら5万ドルを払う公開の挑戦を始めると発表しました。人500とAI500を混ぜた本番の調査で判定し、マサチューセッツ工科大学の研究チームが結果を判定・公表する形で、3か月ごとに繰り返すとしています。6月の記事の時点では第1回の結果は出ておらず、第三者による検証結果が出ているかは、導入を検討する時点で自分で確かめる必要があります。

同じ6月の9日には、端末単位の不正検知を手がける Verisoul の仕組みを Sentry に統合したと発表しました。回答者からは見えない形で背景で動き、位置の偽装、ボットの動き、同じ端末の使い回し、仮想環境、端末の改ざん、プロキシやVPNの使用、本当の接続元などを見るとされています。行動の審査が「どう答えるか」を見るのに対し、こちらは「どの端末から来たか」を見るもので、二つを重ねるのが今回の統合の狙いです。

原因:AIボットが混ざるのは、ふるい分けが集めた後にあるから

ネット調査の品質管理は長く、注意確認の設問、回答時間の極端な短さ、同じ選択肢の連続、自由記述の空欄や意味不明な文といった目印で、集めた後に怪しい回答を除く形で行われてきました。ところが CloudResearch の2025年12月の検証では、注意確認の設問を通過した割合はAIエージェントが91.6%、人が88.4%で、AIのほうが高くなっていました。注意確認は、もうAIを落とす網としては働かないということです。

2026年7月の同社の記事は、米国の学術誌に載った研究で、人の関与なしに調査を最後まで答えるAIエージェントが6,000回の試行で注意確認の99.8%を通過したことを紹介しています。さらに、自由記述を生成AIに書かせて貼り付ける人もいます。同じ記事は、2025年の別の研究で回答者の3分の1超がAIの助けを使ったと認めたと紹介しています。これらは中身の整った回答になるため、集めた後に文面だけを見て見分けるのは難しくなります。

もう一つの原因は、回答者の供給元が一社とは限らないことです。調査会社が複数のパネルから回答者を集めると、同じ人や同じ端末が別の入口から何度も入ってきます。集めた後の除外は「出てきた回答」しか見られず、入ってきた経路や端末までは見えないため、重複や組織的な不正は残りやすくなります。事前審査の製品は、この「見えない部分」を入口で見ようとするものです。

公表された数字の読み方:自社の検証であることを前提に

Sentry と Verisoul の統合の記事では、供給元の不正防止をすでに通過した1,044件の回答で検証し、両方を重ねると低品質な回答者の84%を検出したとしています。注意確認の通過率は審査なしの76.5%から96.3%へ、自由記述の採用率は54.8%から82.1%へ上がったという数字も示されています。石油技術者だと答えた人の割合が、審査なしでは12.1%だったのが審査後は0.0%になったという例もあり、本来ありえない多さの回答が、不正の量を物語っているという見せ方です。

ただし、これらは製品を売る会社が自社で行った検証です。「低品質」の定義や判定の手順は記事の中で詳しく説明されていません。AIエージェントの検証も、本文では検出率100%・誤検出1%未満とする一方、要点の欄では99%超と書かれ、表記が揺れています。同社自身も、AIの検出に恒久的な解決はなく、今日効く方法が明日も効くとは限らないと書いています。

社内で導入を説明するときは、公表値は「検証した条件のもとでの数字」として扱い、自社の調査で同じ結果が出るかは試して確かめると書いておくのが安全です。特に、検証はいずれも米国の英語の調査で行われたものです。日本語の調査、日本の回答者のパネルで同じ精度が出るかは、公表資料からは確認できません。

製品ページにも、データの照合や差し戻しを50%超減らした、自由記述の不良を通常50%超減らす、他社の4倍の低品質な回答者を見つけるといった数字が並びますが、いずれも比較の条件や方法は示されていません。稟議の資料にこうした数字を引くときは、出典が売り手の説明であることを明記し、判断の根拠には、自社で試した結果のほうを置くようにします。6月から始まった公開の挑戦で、第三者の研究チームによる判定結果が公表されれば、それが売り手の数字を確かめる材料になります。

比べる三つの置き方:自社で入れる・調査会社に課す・集めた後だけで見る

事前審査をどう使うかは、大きく三つに分かれます。一つ目は、自社が CloudResearch と契約して、自社の調査の入口に Sentry を置く形。二つ目は、調査会社に「回答者の事前審査を入れること」を発注条件として課し、製品の選択は調査会社に任せる形。三つ目は、事前審査を入れず、集めた後の除外の基準を厳しくする形です。

見る点自社で入れる調査会社に課す集めた後だけで見る
判定の根拠を見られるか回答者ごとの理由を自社で見られる調査会社の提出物しだい自社の除外記録は残る
回答者の端末の情報の受け手自社が契約する海外の事業者調査会社とその委託先原則として増えない
誤除外への対応の窓口自社と供給元の取り決め調査会社自社
費用の見え方別契約として見える調査費に含まれ見えにくい追加費用は小さい
向く調査自社で回答者を集める・頻度が高い調査を外部に一括で出す社内の意思決定用の小規模調査

表で分かるように、どれが優れているかではなく、判定の根拠と回答者の情報の扱いを、自社がどこまで持つかの違いです。自社で入れれば根拠は手元に残りますが、回答者の情報の扱いの責任も自社に寄ります。調査会社に課せば責任は分けられますが、何がどう判定されたかは見えにくくなります。

自社で入れる場合:入口を自分で握る代わりに引き受けるもの

自社で Sentry を入れるのが合うのは、自社で調査画面を作り、複数のパネルや自社の顧客名簿から回答者を集めて、頻繁に調査を回している場合です。供給元をまたいだ重複の防止や、供給元ごとの品質の比較は、入口を自分で握っていないと使いにくい機能です。どの供給元の回答者が落ちやすいかが分かれば、次の発注先を選ぶ材料になります。

一方で、自社で入れると引き受けるものも増えます。どの審査の型を使うか(設問の数、自由記述の採点を入れるか)を決め、落ちた回答者を供給元に戻したときの扱いを供給元と取り決め、回答者の端末の情報を海外の事業者に渡すことの整理を法務と行う必要があります。料金は公開されておらず、見積もりを取らないと費用の増え方は分かりません。

また、事前審査は回答者一人あたりに15〜30秒の負担を足します。BtoBの調査のように、条件に合う回答者がもともと少ない場合、審査で落ちる人が出るほど必要な件数を集める期間が延びます。入口で落とすほど、残った回答者を集める時間と費用は増えることを、計画の段階で見込んでおく必要があります。

調査会社に課す場合:発注書に書いておく条件

調査を外部に一括で出している会社では、自社で製品を契約するより、調査会社に事前審査を課すほうが現実的です。ここで大事なのは、製品名を指定することより、何を見て、何を落とし、その結果をどう報告するかを発注条件として書くことです。調査会社が別の製品や自社の仕組みを使っていても、同じ条件で比べられます。

発注書に書いておきたいのは、次のような項目です。回答者が調査に入る前に、行動と端末の両方を見る審査を入れているか。AIエージェントや自由記述の貼り付けをどう見分けているか。複数のパネルを使う場合、パネルをまたいだ重複をどう防ぐか。そして、審査で落とした人数と理由の内訳を、納品物として出してもらえるかです。

隣接する話題として、集めた後の除外の基準を発注時に確かめる項目は、AIの回答の混入を扱った別の記事でも整理しています。事前審査を課す場合は、それに加えて「入口で落とした数」と「集めた後に除いた数」を分けて報告してもらうのが要点です。両方が一つの数字にまとめられると、どちらの網が効いたのかが後から分からなくなります。

集めた後の除外だけで足りる調査

すべての調査に事前審査が要るわけではありません。社内の意思決定の参考にする小規模な調査で、数字を社外に出さず、回答者が既存の顧客や展示会の来場者など身元の分かる人に限られている場合は、集めた後の除外で足りることが多いはずです。身元の分かる名簿から集める調査は、そもそも見知らぬ回答者が入りにくいからです。

逆に、事前審査を検討すべきなのは、謝礼目当ての回答者が集まりやすい一般のパネルを使う調査、結果を調査リリースや広告の表示の根拠に使う調査、出現率の低い条件(特定の職種や役職)で回答者を絞る調査です。最後の場合、条件に合うふりをすれば謝礼がもらえるため、石油技術者の例のように、ありえない多さの回答が入りやすくなります。

  • 結果を調査リリースに使う予定なのに、集めた後の除外の基準を決めていない
  • 出現率の低い職種を条件にしているのに、該当者の割合が想定より多いことを疑わない
  • 事前審査を入れたので、集めた後の点検はもう要らないと考える
  • 調査会社の「品質管理済み」という一言だけで、何を落としたかを確かめない

端末の指紋と操作の記録は、誰に渡るのか

事前審査で見るのは、回答者の端末の特徴、IPアドレス、位置、マウスの動きや打鍵、画面の操作です。製品ページでは、回答者の操作の様子を後から再生できるとも説明されています。これらは一つひとつは名前を含まなくても、組み合わせれば同じ人を追いかけられる情報です。だからこそ不正の検出に効くのですが、扱いには慎重さが要ります。

CloudResearch のプライバシーポリシー(2026年8月11日発効)は、同社が米国内のサーバーでのみ運営していると書いています。また、集める情報の多くは顧客のために集めるものだという立場です。一方で、このポリシーには端末の指紋や操作の記録についての具体的な記述は見当たらず、Verisoul の統合の記事にもデータの扱いの説明はありませんでした。端末の情報が、どの事業者に、どのくらいの期間残るかは、契約前に書面で確かめる必要があるということです。

自社で入れる場合、確かめたいのは三つです。端末の情報や操作の記録の保存期間と削除の方法。Verisoul を含む再委託先の範囲。自社と CloudResearch のどちらが情報の扱いを決める立場になるのか。調査会社に課す場合も、調査会社が使う事前審査の製品が回答者の情報をどこに送っているかは、同じ問いとして調査会社に聞いておくべき項目です。

日本の回答者に使うときに確かめること

日本の回答者に Sentry を使う場合、まず確かめたいのは日本語の調査でどこまで機能するかです。行動の審査の設問は設問集から出題されますが、日本語の設問がどこまで用意されているか、自由記述の採点が日本語でどの程度の精度か、日本のパネルとの接続の実績があるかは、公表資料からは確認できませんでした。英語の調査での検証結果を、そのまま日本語の調査に当てはめないことが前提です。

次に、回答者の情報が米国で処理されることの整理です。端末の情報や操作の記録が個人に関する情報として扱われる場合、日本の個人情報保護法の外国にある第三者への提供や委託の規律にどう当てはまるかは、自社の法務と確かめる必要があります。回答の冒頭で示す説明文に、不正防止のために端末の情報を確認し、海外の事業者で処理することを書くかどうかも、同じ場で決めておきます。

翻訳の検出は、日本向けの調査で効く場面があります。日本に住んでいると申告しながら、海外から翻訳の道具を使って答える回答者を見分ける手がかりになるからです。Verisoul の統合の記事では、位置の確認を通ったのに実際は国外にいた回答者が、Verisoul が検出した中の11.5%いたとされています。位置の申告と実際の接続元のずれは、日本向けの調査でも確かめる価値がある項目です。

誤除外:本物の回答者を落としたときの扱い

事前審査は、本物の人を落とすこともあります。CloudResearch は誤検出を1%未満と公表していますが、これは同社が検証した条件での数字です。マウスを使わずに画面に触れて答える人、支援技術を使う人、職場の共有回線からつなぐ人など、普段と違う答え方をする人がどう判定されるかは、条件によって変わりえます。落ちた人の中に本物の回答者が混ざる前提で、扱いを決めておくことが必要です。

事前審査で落ちた回答者は、調査に入らないまま供給元に戻されます。このとき、その人に謝礼が出るのか、供給元のパネルの中でどう扱われるのかは、供給元との取り決めしだいです。落ちた理由が不正の疑いとして供給元に伝わり、その人がパネルから外される可能性もあります。自社の顧客名簿から集める調査なら、顧客を不正扱いしてしまうことにもなりかねません。

取り決めておきたいのは、落ちた人への謝礼の扱い、問い合わせが来たときの窓口、落ちた理由を本人に伝えるかどうか、そして顧客名簿から集める調査では審査の型を緩めるかどうかです。入口で落とす仕組みは、落とした人への説明の仕組みとセットで入れると考えておくと、後で慌てずに済みます。

除外判定の根拠を誰が持つか

事前審査を入れると、調査の数字は「入口で落とした人を除いた回答」になります。結果を社外に出すとき、なぜその人たちを落としたのかを説明できなければ、数字の信頼性を問われたときに答えられません。判定の根拠は、審査の製品の中ではなく、自社の記録として残しておく必要があります。

Sentry は回答者ごとの状態と落ちた理由、供給元ごとの内訳を画面やAPIで見られるとしています。自社で入れる場合は、この記録を調査ごとに書き出して保存し、どの審査の型を使ったか、どの理由で何人落ちたかを、調査の報告書の付録に残す運用にしておくとよいでしょう。製品の契約を終えたときに記録が見られなくなる事態も避けられます。

調査会社に課す場合は、根拠の記録を誰が何年保存するかを契約に入れます。調査会社が使っている製品の画面を自社が見られないことは多いため、落とした人数と理由の内訳を、納品物の一部として受け取ることが根拠を持つための現実的な線になります。数字を使う部署(広報やマーケティング)と、記録を保存する部署を分けておくと、責任の所在がはっきりします。

AIに判断させないところ

事前審査の中では、自由記述の採点や行動の判定にAIや機械学習が使われています。これは、膨大な回答者を短い時間でふるい分けるには欠かせない仕組みです。しかし、AIの判定は「疑わしさ」の目印であり、どの基準で落とすかを決めるのは人です。審査の型をどれにするか、何問中何問で通すか、自由記述の採点を入れるかは、調査の目的と回答者の集まりやすさを見て、調査の責任者が決めます。

集めた後の点検も同じです。事前審査を通った回答の中にも、AIの助けを借りた回答や手抜きの回答は残りえます。CloudResearch 自身も、一つの確認ですべてを捕まえられるわけではなく、組み合わせが大事だと書いています。集めた後の点検をAIに手伝わせる場合は、除外の候補とその根拠を必ず書かせ、最終的に除くかどうかは人が一件ずつ、または基準に照らして確定します。

もう一つ、AIに判断させないのは、結果の解釈です。除外した後の数字が想定と違ったとき、除き過ぎで本物の不満の声まで消えていないか、条件に合う人の割合が不自然に減っていないかを確かめるのは人の仕事です。除外前と除外後の数字を並べて報告し、差の理由を説明できる状態にしておくことが、数字を社外に出すときの最低条件になります。

  • AIや機械学習の判定は、除外の候補と理由の提示まで。除外の基準と最終の確定は調査の責任者が持つ
  • 集めた後の点検をAIに手伝わせるときは、除外候補ごとに根拠を書かせ、根拠のない候補は除かない
  • 除外前と除外後の数字を並べ、差を説明できない場合は結果を社外に出さない

導入を決めるまでの手順

事前審査を入れるかどうかは、製品の比較から始めるより、自社の調査の使い方から決めるほうが迷いません。次の順で進めると、判断の根拠が残ります。

STEP1
調査の用途で分ける

過去一年の調査を、社内の意思決定用、社外に出す数字に使うもの、出現率の低い条件で絞るもの、に分けます。事前審査を検討するのは後の二つです。

STEP2
置き方を三つから選ぶ

自社で回答者を集める頻度が高ければ自社で入れる、外部に一括で出しているなら調査会社に課す、を基本に選びます。

STEP3
回答者の情報の扱いを法務と決める

端末の情報と操作の記録の保存期間、再委託先、海外での処理の扱い、回答者への説明文を、契約前に確かめます。

STEP4
一つの調査で試して比べる

同じ調査を事前審査ありとなしで回し、落ちた人数、理由の内訳、結果の数字の差を比べます。日本語の調査での精度はここで確かめます。

STEP5
誤除外と記録の運用を決めてから広げる

落ちた人への謝礼と問い合わせの窓口、判定の記録の保存先と期間を決めてから、対象の調査を広げます。

試すときに見たいのは、検出の数より、落ちた理由の内訳が自社の調査の実感と合っているかです。重複や国外からの接続が多いのか、自由記述の貼り付けが多いのかで、次に強めるべき網が変わります。試した結果と判断の理由を一枚にまとめて残すと、次の調査の担当者に引き継げます。比べた結果、事前審査ありとなしで結果の数字がほとんど変わらなければ、その種類の調査には入れないという判断も、立派な結論です。

選ぶ前のチェックリスト

最後に、事前審査を入れるか、どの置き方にするかを決める前に確かめたい項目をまとめます。社内の稟議や調査会社との打ち合わせで、そのまま確認の項目として使えます。

事前審査を選ぶ前に確かめる項目
  • その調査の結果を、社外に出す数字や広告の表示の根拠に使う予定があるか
  • 回答者を一般のパネルから集めるか、身元の分かる名簿から集めるか
  • 出現率の低い職種や役職で回答者を絞っているか
  • 日本語の調査での精度と、日本のパネルとの接続の実績を確かめたか
  • 端末の情報と操作の記録の保存期間・再委託先・海外での処理を書面で確かめたか
  • 落ちた回答者への謝礼と問い合わせの窓口を、供給元や調査会社と取り決めたか
  • 入口で落とした数と集めた後に除いた数を、分けて報告してもらえるか
  • 判定の記録を誰が何年保存するかを決めたか
  • 除外の基準と最終の確定を、調査の責任者が持つことを決めたか

すべてに答えが出てから導入する必要はありません。ただ、答えの出ていない項目を書き出しておくことで、試用の段階で何を確かめるべきかがはっきりします。料金が公開されていない製品なので、見積もりの依頼の際にこの一覧を添えておくと、話が早く進みます。

まとめ

ネット調査にAIボットやAIを使った回答が混ざるのは、注意確認のような従来の網をAIがむしろ上手に通り、集めた後の除外では入ってきた経路や端末までは見えないからです。CloudResearch Sentry は、回答者が調査に入る前に行動と端末を見てふるい分ける事前審査で、2025年12月にAIエージェントの検出を、2026年6月に Verisoul の端末単位の検知を加えました。ただし公表値は自社の検証で、日本語の調査での精度は確かめる必要があります。置き方は、自社で入れる、調査会社に課す、集めた後だけで見る、の三つから、調査の用途と判定の根拠を持てるかで選びます。どの置き方でも、端末の情報の渡り方、本物の回答者を落としたときの扱い、除外の基準と記録の持ち主を先に決め、最終の判断は人が持つことが、数字を安心して使うための線になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

うちの業務、AIで何が自動化できる?

「AIで何ができるかは分かったが、自社の業務のどこに使えるのかが分からない」という段階の方へ。30業務の判定と5つの実務例から、最初に自動化する1業務を選ぶための無料ガイドです。

運営会社:株式会社デボノ

目次