AI生成の文章は見分けられる？｜判定ツールの限界

「判定ツールに通したら、外注した記事がAI生成の可能性90%と出た。差し戻してよいのか」「応募書類を機械にかけたら、こちらが評価したかった1本が引っかかった」——見分けたい側から届く相談は、この2つに集まります。困っているのは、ツールの精度がまだ足りないからではありません。本当は、判定ツールが返す数字が、AIが書いた確率でも、証拠でもないからです。あの数字は「文の選び方が予想しやすいかどうか」の目安で、丁寧に書く人ほど高く出ます。この記事では、判定の精度が実際にどの程度なのか、誤判定が実務でどんな損を出すのか、そして判定に頼らずに受け入れる運用をどう組むのかを整理します。

あの数字は、確率ではない

まず誤解を解きます。判定ツールが返す「AI生成の可能性90%」という表示は、その文章がAIで書かれた確率が90%だという意味ではありません。多くのツールが見ているのは、文の中で次に来る語がどれだけ予想しやすいか、その予想しやすさが文全体でどれだけ均一かという指標です。予想しやすく、ばらつきの少ない文が、機械が書いた文に近いと判定されます。

この作りには重要な帰結があります。人が書いた文でも、予想しやすく均一なら高い数字が出ます。逆に、AIに書かせた文を人が少し崩せば数字は下がります。判定は書いた主体を見ておらず、文の形だけを見ている。だから同じ内容でも、誰が書いたかとは無関係に、書き方の癖で数字が動きます。

判定の作りは大きく2通りに分けられます。文の予想しやすさなどの統計量を計算するもの。もう1つは、人が書いた文とAIが書いた文を大量に読ませて分類の仕組みを作るものです。後者は学習に使った範囲の外に出ると弱くなります。新しい書き方、専門分野の文体、翻訳を経た文章。いずれも学習の外側なので、当たる保証がありません。

表示の言葉遣いも紛らわしい。「AI生成の可能性」と書かれていれば、確率のように読めます。しかし多くのツールは内部の指標を0から100に並べ直して見せているだけで、その数字が何件中何件を正しく当てるのかは買う側に開示されていません。検証できない数字を、社内の判断の根拠にはできません。

横断で試した検証は、何を報告したか

公表されている検証を見ます。2023年に公表された横断検証は、教育の場でよく使われていた公開ツール12件と、商用サービス2件を同じ条件で試しました。著者らの結論は明確で、利用できる判定ツールは正確でも信頼できるものでもないというものです。単一の製品の批評ではなく、当時使えたものをまとめて試した結果です。

内訳のうち実務に効くのは2点です。1つは、これらのツールが全体として「人が書いた」と分類する側に寄っていること。つまり、AIが書いた文を見逃す方向に外れやすい。もう1つは、AIの文章に手を入れて崩す操作を加えると、性能が大きく落ちることです。崩す操作は、書き換えを1回頼むだけで済みます。

この2点を合わせると、判定ツールの性質が見えます。気を付けている相手には効かず、気を付けていない相手にだけ反応する道具です。外注や応募のように、相手が結果を気にしている場面ほど効きにくい。判定で引っかかるのは、隠す気のなかった人だけです。

提供側から精度の説明を受けるときは、3点を聞きます。試験に使った文章はどの言語、どの分野のものか。人が書いた文章を何本通して、そのうち何本を誤ったのか。表示のしきい値は何に基づいて決めたのか。3点に答えが返らない精度の説明は、自社の文章に当てはめられません。当てはめられない数字を、社内の判断基準にはできません。

人が書いた文が、AI生成と判定される割合

誤判定の側の数字を見ます。2023年に学術誌で公表された研究は、7つの判定ツールに、英語を母語としない受験者が書いた英語試験の答案91本を通しました。すべて人が書いたものです。結果は、平均61.22%がAI生成と誤判定されました。91本のうち18本（19.78%）は7つすべてが誤判定し、89本（97.80%）は少なくとも1つのツールが誤判定しています。

比較のため、同じ研究は米国の中学2年生が書いた答案も通しました。こちらの誤判定は平均5.19%でした。同じツール、同じ条件で、書き手の言語背景が変わるだけで10倍以上の差が出ています。誤りが均等に散らばっているのではなく、特定の書き手に集中しているという点が、実務では致命的です。

日本語の文章について、この規模の検証は見当たりません。ただし判定の仕組みが同じなら、影響を受けるのは同じ性質の書き手です。定型に沿って丁寧に書く人、専門分野の決まった言い回しを使う人、日本語を母語としない書き手。取引先や応募者にこの層が含まれるなら、判定を根拠にはできません。

自社の文章で確かめる方法は1つあります。生成AIが普及する前に人が書いたと確実に分かっている自社の原稿を20本用意し、判定ツールに通して、何本が高い数字になるかを数えるだけです。自社の文体で書かれた原稿の結果が、そのまま自社の誤判定の目安になります。導入の可否を判断するための測定なので、書き手の名前と結果を結び付けて記録しないことだけ決めておきます。

なぜ、丁寧に書く人ほど疑われるのか

理由は同じ研究の中で示されています。7つすべてが誤判定した答案は、そうでない答案より文の予想しやすさが有意に高いという結果が出ています。表現の幅が狭く、標準的な語順と語彙に沿った文は、機械が生成した文と数値のうえで区別がつきません。

これは書き手の能力の問題ではなく、判定の作りの問題です。学校で習った型どおりに書く、業界の定型に従って書く、読みやすさを優先して短く平易に書く。読み手のために整えた文が、判定の側からは機械の文に見えます。整えるほど高い数字が出るという、実務の目的と逆向きの性質です。

逆向きの検証もあります。同じ研究は、誤判定された答案をより凝った語彙と構文で書き直させると、誤判定が61.22%から11.77%に下がったと報告しています。さらに、米国の中学生の答案を平易な言い方に書き換えると、誤判定が5.19%から56.65%に上がりました。書き手を変えずに文体だけ変えると、判定は反転します。

1%の誤判定でも、母数に当たると件数になる

提供側が「誤判定は1%未満」と説明する場合もあります。ここで見るのは割合ではなく件数です。2023年8月16日、米国のバンダービルト大学は、判定機能を止めると公表しました。理由の説明で挙げられていたのが、2022年に7万5,000本の文書を照合に出しており、誤判定1%なら約750本が誤って印を付けられた計算になるという数え方です。

この数え方が実務では効きます。自社に置き換えると、月に記事を100本受け入れる編集部なら年1,200本、1%で12本。応募書類を年3,000通見るなら30通。12本や30通が、誤って疑われた側に回ります。1件あたりの損は、記事なら差し戻しの手戻り、応募なら不採用です。誤りの相手には説明の機会がありません。

同じ公表資料は、提供側が判定の中身を説明していない点も挙げていました。AIの文章によくある型を探しているとしか説明されず、その型が何かは定義も説明もされていない。根拠を説明できない判定を、相手に不利な決定の理由にはできません。この一文が、判定を運用から外す最も強い理由になります。

誤判定が起きたときに、発注側が失うもの

誤判定の損は書き手だけが負うと思われがちですが、発注側のほうが重い場合があります。第1に、差し戻した相手が実際には自分で書いていた場合、その取引は続きません。力のある書き手から順に離れます。判定の数字は丁寧に書く人ほど高く出るので、離れていくのは丁寧な書き手からです。

第2に、判断の記録が残りません。「機械が90%と出したので差し戻した」という記録は、後から読み返しても理由になっていません。第3に、逆方向の見逃しは減りません。崩した文章は通るので、受け入れの網としては穴が空いたままです。判定を入れたことで安心してしまう分、確認は前より薄くなります。

そして最も重いのが、確認の労力が判定の側に吸われることです。数字が出た文章を読み直し、書き手とやり取りし、再提出を待つ。この時間を、本来やるべき事実の確認と出所の確認に回せていない。判定に使った時間は、内容の確認から引かれています。

4つ目もあります。書き手の側が、判定を回避する書き方を覚えることです。回りくどい言い回し、不必要に凝った語彙、意味の薄い比喩。数字を基準にすると、その基準に合わせた文章が集まります。読みにくい記事が増えるという結果は、判定を入れた側が招いたものです。

精度が上がっても、この問題が残る理由

「もっと精度の高いツールが出れば解決するのでは」という質問が必ず来ます。3つの理由で、精度だけでは解決しません。第1に、判定される側が文章を書き換えられることです。書き換えを1回頼めば文体は変わり、数字は下がります。先の横断検証でも、崩す操作を加えると性能が大きく落ちると報告されています。相手が結果を気にしている場面ほど、判定は効かなくなります。

第2に、割合が下がっても件数は残ることです。誤判定が1%でも、年に3,000通を見るなら30通が誤って疑われます。0.1%まで下がっても3通です。3通が不採用になる仕組みは、精度が高いことを理由に許容できる仕組みではありません。相手に説明の機会がない場面では、割合ではなく件数で見ます。

第3に、根拠が示せないことです。判定は「文の形が機械の文に近い」と言っているだけで、どの記述がどの資料から来たのかは示しません。示せる根拠がないまま相手に不利な決定をする、という形そのものが問題です。この3つは当てる確率が上がっても消えないので、精度の話ではなく運用の話として決めます。

では何を確かめるのか。対象を付け替える

判定をやめるなら、代わりに何を見るのかを決めます。付け替えの考え方は1つです。出来上がった文章の性質を見るのをやめ、その文章ができるまでの材料と過程を見る。誰がどの材料を見て、どこから引いて、どの順番で書いたか。ここは判定ツールでは測れませんが、人が確かめられます。

この付け替えには副作用があります。AIを使ったかどうかが分からなくなる、という副作用です。実務ではそれで構いません。発注側が本当に困るのは、AIを使ったことではなく、出所のない記述、確かめていない数字、他から取ってきた文章が混ざることです。この3つは、AIを使ったかどうかとは別に確かめられます。

付け替えを始める順番は、扱う量が多い場面からではありません。誤判定の損が重い場面からです。相手に説明の機会がない応募や審査の場面を先に外し、量の多い場面は確認の項目を2つに絞る工夫を別に考えます。逆の順番で始めると、損の重い場面だけが最後まで残ります。

一方で、使ったかどうかを知る必要がある場面もあります。その場合も判定では確かめられないので、使った工程を申告してもらう形にします。申告と、記述の確認は別の仕組みとして持ちます。申告は相手の協力に頼るものなので、確認の代わりにはなりません。

受け入れ時の実務仕様

確かめる対象	確かめ方	残す記録
数字	一覧にして、資料名と該当箇所を書かせる	出所の欄が埋まった一覧
引用と参照	出所を示させ、受け入れ側が1件以上開いて突き合わせる	開いた日と、確認した人
事実の主張	一次の資料に当たっているかを聞く。二次のまとめのみは差し戻す	差し戻しの理由
文章の重複	既存の文章と同じ文字列がないかを機械で照合する	一致した箇所と、その処理
作業の過程	構成案か途中の草稿の提出を求める	提出物とその日付
AIの利用	使った工程を申告してもらう	申告の内容

表の中で機械に任せてよいのは、文章の重複を見る作業だけです。これは同じ文字列が他にあるかを照合する作業で、推定ではありません。判定ツールとの決定的な違いは、一致した相手の文書を示せることです。示せる根拠がある確認だけを機械に任せる、という線引きになります。

右の列は後から必要になります。差し戻しや不採用の説明を求められたとき、出せるのは記録だけです。記録が数字1つしかない判断は、説明できない判断です。逆に、出所の欄が空白だったことを理由にした差し戻しは、相手にも社内にも説明できます。

工数の目安も先に決めます。1本あたり、出所を1件開いて突き合わせる作業は5分から10分です。全件の全行を開く必要はありません。主張の支えになっている数字を2件選び、そこだけ開くと決めると、記事1本あたり10分台に収まります。全件を開こうとする運用は、忙しい月に丸ごと飛ばされます。

外注記事の受け入れで、実際に見る項目

• 記事内の数字それぞれに、出所の資料名と該当箇所が付いているか
• 出所が、二次のまとめ記事だけになっていないか
• 挙げられた出所を、受け入れ側が1件以上開いて突き合わせたか
• 固有名詞（社名、製品、法令、団体）の表記が、原典と一致しているか
• 本文で断定している主張のうち、出所のないものが残っていないか
• 構成案の段階で合意した見出しから、無断で変わっていないか
• AIを使った工程の申告があるか

7項目のうち、判定の数字は1つも出てきません。項目を作るときのこつは、相手が答えに詰まる項目ではなく、書いた人ならすぐ答えられる項目にすることです。出所を聞かれて詰まる書き手は、確かめずに書いています。判定の数字より、この反応のほうが情報量があります。

運用の順番も決めておきます。構成案の段階で出所の候補を出させ、納品時に一覧として受け取る。納品後にまとめて聞くと、書き手は書いた後から出所を探すことになります。後から探した出所は、書いた内容に合う資料を探した結果なので、順番が逆です。

応募書類の場面では、何に置き換えるか

応募書類は、誤判定の損が最も重い場面です。相手に説明の機会がないまま落ちるからです。置き換えるのは書類の文体ではなく、書かれている経験の具体性です。いつ、どの規模で、何を担当し、どこで詰まって、どう解いたか。この4点は、経験していないと答えの粒度が上がりません。

実務では、書類だけで判断せず、短い作業課題か口頭での深掘りを1段挟みます。深掘りは、書類に書かれた1つの経験を選び、前後の事情を尋ねる形にします。整った文章を書けることと、その経験があることは別なので、確かめるのは後者だけです。文章の出来ではなく、書かれた出来事の前後を聞くと、文体の差は判断から消えます。

作業課題を出す場合は、時間の上限を先に示し、AIを使ってよいかどうかも明記します。使ってよいと決めるなら、提出物と一緒に「どこで使い、何を自分で判断したか」を3行で書かせます。使わせないと決めるより、使い方を見るほうが判断に使える情報が増えます。手元で確かめられるのは、道具の使用ではなく判断の質のほうです。

気を付ける点が1つあります。書類の作成にAIを使ったこと自体を落とす理由にすると、使ったと申告した人だけが落ちます。申告しなかった人は分かりません。落とす基準を、確かめられないものに置くと、正直に答えた人から落ちる仕組みになります。

顧客の声や事例を扱う場面

顧客の声、導入事例、口コミも同じ問題が出ます。ここで確かめるのは文体ではなく、その人が実在し、その取引があったかどうかです。取引の記録と突き合わせる、掲載前に本人の確認を取る、掲載する内容を本人が読んだ日を記録する。取引記録と本人確認は、判定ツールでは代替できません。

自社で集める場合は、集め方の側に条件を付けます。誰から、いつ、どの経路で受け取ったかを1件ずつ記録する。文章の手直しを社内で行った場合は、手直し前の原文を残す。原文が残っていれば、後から疑われたときに示せます。残っていなければ、手直しの範囲を証明する手段がありません。

外部から買った口コミや事例には、この記録が付いてきません。記録のない材料を自社の名前で公開すると、責任だけが自社に残ります。記録が付いてこない材料は、判定にかけて安心するのではなく、使わない判断をします。判定の数字が低かったことは、実在の証明にはなりません。

誤判定が起きたときの扱い

この手順の要点は、判定の数字を対外的な理由に使わないことです。社内で読む順番を決める目安として使うのは構いません。目安と根拠を分けるだけで、誤判定の損はほとんど消えます。分けていない運用が、差し戻しと不採用を機械の出力に任せる形を作ります。

やってはいけない運用

• 判定の数字にしきい値を決め、超えたら自動で差し戻す
• 判定の結果を、社内規程や受け入れ基準の判断根拠として文書に書き込む
• 判定の数字を、書き手や応募者に理由として伝える
• 複数のツールにかけ、1つでも高く出たものを疑う
• AIに「この文章はAIが書いたものか」と尋ねて、その答えを根拠にする
• 判定が低かった文章を、内容の確認なしで通す

最後の1つは見落とされやすい。数字が低いことは、書かれている内容が正しいことの保証にはなりません。判定は内容を見ていないので、低い数字の文章にも、出所のない数字や誤った固有名詞は入ります。判定を入れた結果として確認が薄くなるなら、入れないほうが安全です。

4つ目も件数で考えます。1つのツールの誤判定が5%でも、3つ併用して「1つでも高ければ疑う」運用にすると、誤って疑う件数は増えます。重ねる道具を増やすほど、誤って疑われる人は増えます。5つ目は、判定される側の文章に判定を委ねる形なので、そもそも成り立ちません。

判定ツールを使ってよい、狭い使い方

全否定はしません。使ってよい場面が2つあります。1つは、自社が公開する文章を出す前に、社内の目安として通すことです。数字が高く出た箇所を読み直すと、たいてい同じことの言い換えや、中身のない一般論が並んでいます。薄い文章を見つける道具として使うぶんには害がありません。

もう1つは、大量の投稿を人が読む順番を決めることです。相手に不利な決定をしないなら、読む順番を並べ替える用途には使えます。ただし条件が2つあります。結果を記録に残さないこと、対外的な理由にしないこと。この2つを守れないなら、使わないほうが単純です。

社内から導入したいと言われたときは、3つの問いで返します。この数字で誰にどんな不利益が生じるのか。誤って疑われた人には説明の機会があるのか。数字が高かった場合に、次に何を確かめるのか。3つ目に答えがあるなら、それは判定ではなくその確認作業を運用に入れればよいという話になります。3つ目が空欄なら、導入しても運用は動きません。

• 判定の数字を持ち込まないと決めておく場面は4つ。差し戻し、不採用、減額、取引の打ち切り
• 社内の目安として使う場合も、数字が残る画面の写しは保存しない。残った数字は後から根拠として読まれる
• 判定の結果に触れた人を限定する。読んだ人が増えるほど、目安として使う約束は崩れる
• 無料で使える判定ツールに、社外から受け取った文章をそのまま入れない。入れた文章がどう扱われるかが公表されていない場合がある

取り決めを1枚にして、運用に載せる

ここまでを部門の運用に落とします。1枚にまとめるのは5つです。判定ツールを何に使うか、何に使わないか、受け入れで確かめる項目、誤判定が出たときの手順、記録の残し方。使わないと決めた用途を明記しておくのが要点で、これがないと現場が自分の判断で使い始めます。

1枚を配るだけでは定着しません。受け入れの様式に欄を作ります。数字と固有名詞の出所を書く欄、開いて確認した日と確認した人の欄。欄があると埋まり、欄がないと埋まりません。運用は文書ではなく、様式で定着します。既存の受け入れの書類に2欄足すところから始めます。

1枚の持ち主も決めます。置き場所は受け入れを行う部署で、法務や情報システム部門の所管にはしません。使う場面が受け入れの現場にあるからです。更新は年1回で足りますが、判定ツールを新しく入れたいという相談が来た時点で、その1枚に照らして答えます。相談のたびにゼロから議論すると、忙しい月に現場判断で導入されます。

3か月後に見るのは、差し戻しの件数ではありません。差し戻しの理由に「判定の数字」が何件残っているかを見ます。0件になっていれば付け替えは終わっています。残っているなら、その担当者の手元に確かめる材料が届いていないので、様式か材料の渡し方を直します。

まとめ

AI生成の文章は見分けられるのか。判定ツールが返す数字は、AIが書いた確率ではなく、文の選び方が予想しやすいかどうかの目安です。2023年に公表された検証では、公開ツール12件と商用サービス2件を試した結果として、利用できる判定ツールは正確でも信頼できるものでもないと結論されました。しかも「人が書いた」と分類する側に寄るため、AIの文章に手を入れて崩す操作を加えると性能は大きく落ちます。

誤判定の側はもっと重い。同じ年に学術誌で公表された研究では、7つのツールに人が書いた答案91本を通して、平均61.22%がAI生成と誤判定されました。米国の中学生の答案では5.19%です。同じ答案をより凝った言い方に書き直させると11.77%まで下がり、平易な言い方に直した答案は5.19%から56.65%に上がりました。判定は書き手ではなく文体を見ています。2023年8月に米国のバンダービルト大学が判定機能を止めた説明では、誤判定1%でも7万5,000本なら約750本が誤って印を付けられる、という数え方が挙げられていました。

だから結論は、判定に頼らない受け入れです。確かめる対象を、出来上がった文章の性質から、材料の出所と作業の過程に付け替える。数字と固有名詞の出所を一覧で受け取り、1件は自分で開いて突き合わせ、埋まらない行だけを削るか留保に直す。判定の数字は社内の目安に留め、差し戻し、不採用、減額、取引の打ち切りには持ち込まない。説明できる記録が残る形になっているか。この1点が、見分けようとする努力より先に決まっていなければなりません。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。