AIのハルシネーションとは?|作り話が混ざる仕組み

「AIはときどきうそをつくんですよね」「間違いが混ざるだけなら、あとで確認すれば済む話ではないですか」——生成AIの利用を広げようとしている部署では、この2つがほぼ同時に出てきます。どちらも惜しいところで的を外しています。うそをつくというのは、正しい答えを知っていながら別のことを言う行為です。生成AIは定まった答えを持たないまま、正しそうな形の文を組み立てているので、うそをつくという仕組みがそもそも備わっていません。あとで確認すれば済むという話でもありません。確認が効く場面と効かない場面が、起きている機序によって分かれるからです。この記事では、作り話が混ざる仕組みを設計の側からたどり、減らせない前提で業務のどこで受け止めるかまでを整理します。
カメ先生ハルシネーションって、AIが知識を間違って覚えた結果だと思われがちなんだけど、本当は知らないところを埋める動きなんだ。
カメ子覚え違いではなく、空白を埋めているということですか。
カメ先生そう。次にどんな言葉が続きそうかを選んでいく作りだから、続きが分からないときも何かを選ぶ。黙るという選択肢が最初から用意されていないんだ。
カメ子答えられないと言わせるほうが、かえって難しいんですね。
- ハルシネーションはうそではない。定まった答えを持たないまま、形の整った文を作る動きから出てくる
- 学習データに1度しか出てこない事実は原理的に当てられない。研究では誕生日の2割が該当する例が示された
- 採点の作り方が「分からない」を不利にしている。だから減らす前提ではなく、受け止める場所を先に決める
AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?
デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。
うそではなく、間に合わせている
2025年9月に公開された研究は、この現象を「不確かさを認める代わりに、もっともらしいが正しくない記述を出すこと」と定義しています。注目すべきは前半です。問題は誤りが出ることではなく、分からないと言わずに形の整った文が出てくることにあります。誤りに気づけないのは、出力の見た目が正解のときと変わらないからです。
日本の規制当局も、同じ機序を早い段階で文章にしています。個人情報保護委員会が2023年6月2日に公表した注意喚起は、生成AIの応答について「当該文章は確率的な相関関係に基づいて生成されるため、その応答結果には不正確な内容の個人情報が含まれるリスクがある」と書いています。確率で組み立てているから不正確になる、という因果が公的な文書に明記されているわけです。
この見方に立つと、対策の方向が変わります。うそをつく相手なら、正直に答えさせる仕掛けを考えることになります。定まった答えを持たない相手なら、答えが定まらない領域を先に見分けて、そこだけ人が受け止める設計に切り替えるほうが効きます。以下、どの領域が定まらないのかを機序からたどります。
言葉の意味をそろえる
この話がかみ合わなくなる原因の半分は、言葉の使い方がそろっていないことです。会議で「精度が低い」と言うとき、話し手が指しているものは3種類くらいに分かれています。先に整理しておきます。
| 言葉 | 指しているもの | 混同されやすい相手 |
|---|---|---|
| ハルシネーション | 根拠がないのに、もっともらしい形で出てくる記述 | 学習内容そのものの誤り |
| 事実誤り | 学習した材料の側が誤っていて、それを再現した誤り | ハルシネーション |
| 出典の作り出し | 実在しない資料名や番号を、体裁だけ整えて出すこと | 引用の書き間違い |
| 根拠のずれ | 説明は正しいのに、それを支えていない出典を挙げること | 出典の作り出し |
| 時点のずれ | 学習の切れ目より後の出来事を知らないまま答えること | 作り話 |
| 棄権 | 分からない、答えられないと答えること | 回答の拒否や機能の制限 |
| 言い回しの強さ | 断定的に書かれているという体裁の性質 | 正しさの度合い |
この表で分けておく意味は、手当てが違うからです。事実誤りは材料を差し替えれば直りますが、ハルシネーションは材料を増やしても消えません。出典の作り出しは実在確認で機械的に見つかりますが、時点のずれは日付を尋ねただけでは見つかりません。同じ「間違い」という言葉でまとめると、どの手当てが要るのかが決まらなくなります。
特に混同が多いのは、最後の2つです。棄権を「使えない」と受け取る文化が社内にあると、断定して返す挙動のほうが好まれます。言い回しの強さは体裁の性質でしかなく、正しさとは別の軸にあるという点は、この記事で何度か戻ってくる話です。
場面をたどる(1)出典を聞いたら、実在しない資料が返ってきた
最初の場面は、根拠を出させたときに起こります。研究の中に分かりやすい例があります。ある研究者の学位論文の題名を3つの系統に尋ねたところ、3つがそれぞれ違う題名を返し、発表年も所属も違っていました。いずれも正解ではありません。誤りが1つに収まらず、系統ごとに別の誤りになった点が要点です。
機序はこう考えると分かります。学位論文の題名という文字列には、それらしい語の並びの型があります。分野の言葉、手法の言葉、対象の言葉。型は大量の例から学べます。しかし、特定の1人の題名という個別の事実は、その型からは出てきません。型だけが手元にある状態で答えを求められると、型に合う文字列が組み立てられて出てくることになります。
実務で厄介なのは、体裁が整っているほど確認が飛ぶことです。年号があり、機関名があり、それらしい題名がある文は、確認の対象として目に留まりません。だから出典を出させる指示は、確認の負担を減らすのではなく増やします。出典を出させるなら、実在の確認を同じ工程に組み込んでからにするという順番が要ります。
場面をたどる(2)同じ問いに、毎回違う答えが返る
2つ目の場面は、答えのばらつきです。同じ研究では、著者本人の誕生日を尋ねる例が示されています。知っている場合だけ答えてほしいと頼んだにもかかわらず、ある系統は3つの異なる誤った日付を返しました。もう1つの例では、ある系統名に含まれる特定の文字の個数を尋ねると、10回の独立した試行で2または3を返し、別の系統では6や7という答えも出ました。
ばらつきは不具合の症状ではありません。元に定まった答えが無いことが、そのまま表に出ているだけです。定まった答えを持っている問いなら、何度尋ねても同じ答えが返ります。逆に言えば、同じ問いを何度か投げてみると、その問いが定まる領域かどうかが分かるということです。
この性質は、実務でそのまま使えます。数値や固有名詞を返させたときに、時間を空けて2回か3回同じ問いを投げる。答えが揺れたら、その項目は人が原典に当たる対象に回す。手間は増えますが、確認すべき箇所を絞る役には立ちます。ただし揺れなかったからといって正しいとは言えません。学習データに誤った記述が繰り返し含まれていれば、安定して同じ誤りが返ります。
場面をたどる(3)社内資料を読ませたのに、書いていない数字が混ざる
3つ目の場面は、材料を渡している場合です。社内資料を読ませて答えさせる方式(RAG)を使えば、材料に書かれていることしか答えないはずだと考えたくなります。ところが2026年7月に公開された検出手法の研究は、冒頭で「検索を併用する方式は幻覚を減らすが、なくすわけではない」と書いています。
同じ研究が示している見分け方が、機序をよく表しています。根拠のある文は、支えになった文章を取り除くと成り立たなくなるのに対して、作り話の文は取り除いてもほとんど影響を受けないという性質です。つまり作り話の文は、渡した材料に支えられていません。材料の周辺にありそうな言い回しとして組み立てられているため、材料を消しても揺らがないわけです。
同じ研究は、この性質を使った自動検出の実測も出しています。公開されている3種の検証用データで、応答単位の判別指標が約0.73、文の範囲単位で約0.67でした。文の範囲まで絞り込むと精度が落ちる、という並びになっています。1に近ければ見分けられている、0.5なら偶然と同じという指標です。自動検出は当たりを付ける役には立つが、通す通さないの判定を委ねる水準ではないと読むのが妥当です。
仕組み1 次の語を確率で選ぶという設計
ここから機序を3層に分けます。1層目は、文の作り方そのものです。生成AIは、これまでの文脈に続きそうな語を確率で選び、選んだ語を含めて次の語を選ぶ、という動きを繰り返します。2023年6月の注意喚起が「確率的な相関関係に基づいて生成される」と書いたのは、この動きを指しています。同じ注意喚起は、入力された個人情報が機械学習に利用されたとき「他の情報と統計的に結びついた上で、また、正確又は不正確な内容で」出力されるリスクにも触れています。正確な内容と不正確な内容が同じ経路から出てくる、という書き方です。
重要なのは、この動きに「続きが分からないので止める」という状態が含まれていないことです。確率がどれだけ低くても、いずれかの語が選ばれます。人が言葉に詰まるときのような、判断を保留する状態がありません。だから前提が欠けた問いにも、材料が無い問いにも、文の形をした何かが返ります。
2025年9月の研究は、この層についてさらに踏み込んでいます。学習データに誤りが一切なかったとしても、学習で最適化される目的そのものが誤りの生成につながる、と書いています。材料の質だけでは解決しない層があるという指摘です。社内資料をきれいに整えることは有効ですが、それでこの層が消えるわけではありません。同じ研究は、妥当な記述かどうかを見分ける難しさが生成の誤りの下限を決めるという関係も示しています。見分けるのが難しい領域では、作る側の誤りもそれ以上には減らないという構造です。
仕組み2 1度しか出てこない事実は当てられない
2層目は、学習データの中での出現回数です。同じ研究は、学習データに1度だけ現れる問いを分けて扱っています。1度だけ現れる事実は、繰り返しから型を取り出すという学習の仕方に乗りません。結果として、その割合が誤りの下限になります。
研究が挙げている例が分かりやすいので、そのまま引きます。誕生日に関する事実のうち2割が学習データに1度だけ現れるなら、少なくとも2割については外すことが見込まれる、というものです。これは日本企業の実測値ではなく、仕組みから出てくる下限の例ですが、どの種類の情報が危ないのかを教えてくれます。
危ないのは、繰り返し語られない情報です。個人の経歴、企業の細かな沿革、条文の番号、型番、社内の固有名詞、地域限定の制度。世の中で1度しか書かれなかった事実は、どれだけ大きな学習をしても当てられないという構造になっています。逆に、繰り返し語られている一般的な内容の誤りは相対的に少なくなります。この差が、危ない問いを見分ける第一の手がかりです。
仕組み3 採点のしかたが、当てにいくほうを有利にしている
3層目は、意外に思われますが評価の作り方です。同じ研究は、主要な評価のほとんどが正解か不正解かの2値で採点されている点を指摘しています。2値の採点では、不確かさを表明した答えに点は付きません。研究の言い方では、2値採点のもとで棄権は厳密に不利な選択になります。
結果として何が起きるか。分からないと答えると点を落とし、当てにいけば当たる可能性が残るため、当てにいく挙動のほうが評価で有利になります。研究はこれを、どのような採点者の分布を想定しても最適な応答が棄権にはならない、という形で整理しています。学習と評価の過程が、間に合わせの答えを出す方向に働いてきたことになります。
この層の指摘は、実務にそのまま使えます。研究が提案しているのは、指示文の中に「どのくらい確かなら答えるか」を明示する方法です。誤答には罰点、分からないは0点、正答は1点という条件を先に示す形です。確かでないときは分からないと書くよう、指示文の側で条件を与えるという運用に、研究上の裏付けがあるということです。
自信の強さと正しさは、はじめから関係がない
3層をたどると、読み手側で一番効く注意点が見えてきます。断定的な言い回しは、正しさの手がかりになりません。誕生日の例では、知っている場合だけ答えてほしいという条件を付けたうえで、3つの異なる誤りが返りました。控えるよう頼んでも控えないことがあるということです。
見た目の確からしさが役に立たないなら、何を見るのか。見るのは根拠の所在です。どの資料のどこに書かれていたのかを示せるか、示された箇所に実際にその記述があるか。この2つだけが確認可能な手がかりです。言い回しの強さを根拠の代わりに読まない、という読み方の訓練が要ることになります。
組織として効くのは、様式で縛る方法です。数値や固有名詞を含む出力には、必ず参照した箇所を併記させる。併記が無い項目は未確認として扱う。確認済みと未確認を、文の見た目ではなく様式で区別すると、読み手の判断に依存しなくなります。あわせて、問いの側の言い切り方も見直す価値があります。強く言い切る問いには、強く言い切る答えが返りやすくなるためです。
学習には切れ目があるという前提
機序のもう1つの面が、時点です。学習に使われた材料には収集の切れ目があり、それより後の出来事は含まれていません。含まれていない期間について問われても、1層目の性質により何らかの文は返ります。結果として、古い仕様が現在の仕様として書かれます。
生成AIの領域は仕様の変更が速いため、この型は特に出やすくなります。料金の区分、機能の名前、扱いの条件。半年前の内容が現在の内容として返ってくると、読み手は気づけません。時点に関わる記述は、内容の正しさとは別に、いつの話なのかを必ず確かめる必要があります。
注意したいのは、切れ目そのものを尋ねても正確に返るとは限らない点です。切れ目の日付も学習の対象になっている情報なので、1層目と2層目の性質がそのまま働きます。いつまでの情報かは、本人に聞かずに提供元の公表資料で確かめるほうが確実です。
指示が曖昧なとき、空白は埋められる
機序は問いの側にも関わります。前提が書かれていない問いを投げると、前提が補われて答えが返ります。補われた前提は明示されないので、読み手は自分の想定で読みます。ここで食い違いが起きます。
よく起きるのは4つです。時点が書かれていない(いつの数字か)、範囲が書かれていない(どの国、どの業種か)、定義が書かれていない(何を含めた数字か)、出典の条件が書かれていない(公的な統計に限るのか)。4つのうち1つでも欠けていると、返ってきた数字は比較にも判断にも使えません。
対策は、問いの様式を先に決めておくことです。数値を求める問いには時点と範囲と定義を必ず書く、という決めごとを1行のひな形にしておく。手間は数秒ですが、補われた前提を後から見分ける作業に比べれば、はるかに安いです。曖昧な問いに対する作り話は、問いの側で減らせる部分が大きい領域です。
検索を併用しても、誤りは残る
外部の情報を参照して答える方式なら解決するのでは、という期待は根強くあります。実測はそれを支えていません。欧州放送連合ほかが2025年10月21日に公表した調査では、22の公共メディアが18か国・14言語で3,000件を超える回答を集め、現役の担当者が評価しました。評価軸は正確性、出典、意見と事実の区別、文脈の提示の4つです。結果は、ほぼ半数の回答に少なくとも1つの重大な問題があり、3分の1に出典に関する深刻な問題、5分の1に幻覚や古い情報を含む正確性の重大な問題がありました。4つの軸のうち、最も崩れていたのは出典の扱いでした。
この調査は、こちらが渡した文書の要約ではなく、質問への回答を評価したものです。つまり外部を参照できる状態でも、出典の扱いと正確性は独立して崩れるということになります。参照したことと、参照した内容に沿って書いたことは別だからです。
2026年7月の検出研究が「減らすがなくならない」と書いているのも同じ話です。参照した文章の周辺にありそうな言い回しは、参照していなくても組み立てられます。材料を渡すことは有効な手当てだが、確認を省く根拠にはならない。ここを取り違えると、材料を整えた分だけ確認が薄くなり、結果として通ってしまう誤りが増えます。
専用に作られた道具でも、根拠のずれは残る
汎用の生成AIではなく、特定の分野の資料に絞って作られた道具ならどうか。米国の研究機関が2024年5月23日に公表した検証があります。法務の調査に特化して作られた商用の道具を対象に、200問を超える設問で答えを人が確かめたものです。設問は測定の前に登録された形式で作られており、後から都合のよい問いを選び出したのではありません。結果は、2種が17%を超える割合で誤った内容を出し、もう1種は34%を超えました。分野を絞り、資料をそろえた専用の道具でも、6問に1問以上は誤るという水準です。
この検証が有益なのは、誤りを2つの成分に分けている点です。1つは内容そのものの誤り。もう1つは、法の説明は正しいのに、その主張を実際には支えていない出典を挙げるという成分です。後者は、挙げられた出典が実在していても起こります。実在確認を通り抜けてしまうため、出典が本当にその主張を支えているかは、番号や書名の確認とは別の作業になるということになります。
研究は、検索を併用しても消えない理由を3つ挙げています。取り出しの仕組みが目的の資料を持ってこられない場合、取り出せても分野固有の事情でその資料が当てはまらない場合、そして利用者が誤った前提を含めて尋ねたとき、その前提を正さずに同意してしまう場合です。3つ目は問いの側の性質なので、道具を替えても残ります。なお測定は2024年5月時点のもので、現在の性能を示す数字ではありません。ここでは機序の説明としてのみ読んでください。
起きやすい場面の一覧
3層の機序を場面に翻訳すると、危ない問いの見分けが実務の言葉になります。以下は、機序から導かれる場面と、その場面で先に決めておくことの対応です。
| 起きやすい場面 | 機序のどこから来るか | 先に決めておくこと |
|---|---|---|
| 人名や社名の経歴を尋ねる | 1度だけ出てくる事実 | 原典に当たる担当と、当たれない場合の扱い |
| 条文や規格の番号を出させる | 1度だけ出てくる事実 | 番号は必ず公的な原典で突き合わせる |
| 出典や参考資料を挙げさせる | 型から組み立てられる | 実在確認を同じ工程に入れる |
| 最新の仕様や料金を尋ねる | 学習の切れ目 | 提供元の公表資料で時点を確認する |
| 時点や範囲を書かずに数値を求める | 空白が補われる | 時点、範囲、定義を問いに必ず書く |
| 長い資料を渡して要点を出させる | 材料に支えられない文が混ざる | 数値と固有名詞だけを抜いて照合する |
| 否定や例外の条件を含めて尋ねる | 条件が落ちやすい | 条件を分けて2回尋ね、答えを比べる |
| 断定的な結論を求める言い方で尋ねる | 棄権が不利になる | 確かでなければ分からないと書かせる |
| 誤った前提を含めて尋ねる | 前提に同意する挙動 | 前提が正しいかを問いとは別に確かめる |
この表の使い方は1つだけです。上の8つに当たる問いは、答えが返ってきた時点では未確認として扱う。当たらない問いは、確認の優先度を下げる。全部を等しく確認しようとすると続かないので、機序の側から優先順位を付けます。
日本の企業は、精度への懸念が相対的に低い
ここで実務の側の数字を1つ置きます。総務省の令和8年版情報通信白書(2026年7月公表、日本・米国・ドイツ・中国の企業比較)で、生成AIの活用に関して懸念されるリスクを聞いた結果です。「出力結果の精度に問題がある」を挙げた割合は、日本35.3%、米国44.3%、ドイツ41.7%、中国52.1%でした。日本は4か国で最も低いという結果です。
同じ調査で日本が最も高かったのは「社内情報の漏洩などのセキュリティリスクがある」で46.4%でした。米国36.9%、ドイツ31.7%、中国42.7%と比べても高い数字です。つまり日本では、外に出ていくことへの懸念が先に立ち、中身が正しいかへの関心が後ろに回っているという並びになっています。
興味深いのは、ねじれがあることです。「ブラックボックス化により判断理由などの説明が不足する可能性がある」は日本20.2%で、米国とドイツの16.2%より高い。理由が説明されないことは気にしているのに、出力の正しさは相対的に気にしていないという組み合わせです。導入の段で作り話への備えが議題に上がりにくいのは、この並びの表れかもしれません。備えを設計に入れるなら、この順番を意識して説明する必要があります。
減らせない前提で、どこで受け止めるか
3層のうち、材料の整備で手当てできるのは一部です。残りは仕組みの側に残ります。だから設計の問いは「どうやって減らすか」ではなく「どこで受け止めるか」になります。受け止める場所は、出力の使い道で決めるのが最も単純です。
社内の下書きで終わるもの、社外にそのまま出るもの、判断の根拠になるもの。3つで確認の重さが変わります。下書きは通してよく、判断の根拠は必ず原典に当てます。
複数人で見る取り決めにすると、全員が誰かが見ていると考えて誰も見なくなります。受け止める人は役職ではなく、その数値の出どころを知っている人に置きます。
数値と固有名詞を含む出力には、参照した箇所を必ず併記させます。併記が無い項目は未確認として扱う、という区別を様式の側で作ります。
指示文に、確かでない場合は分からないと書くよう条件を入れます。2025年9月の研究が指摘した、棄権が不利になる構造への直接の手当てになります。
誤りが世に出たあとで最初に届く場所を決めておきます。問い合わせ窓口でも、担当者の受信箱でもかまいません。気づく場所が無いと、同じ型の誤りが繰り返されます。
- 自動検出の判定だけで通す。実測でも判別の指標は0.73程度で、通す通さないを委ねる水準ではない
- 全部の出力を同じ重さで確認する取り決めにする。忙しい時期に確認そのものが飛ぶ
- 断定的に書かれているかどうかで確認の要否を決める。言い回しの強さは正しさと関係がない
- 受け止める場所は、出力の使い道ごとに1つずつ決める。人ではなく工程に紐づける
- 併記された参照箇所は、実在するかを機械的に確かめられる。ここは自動化してよい部分
- 気づける場所に届いた誤りは、型に分類して残す。型が分かると問いの様式を直せる
まとめ
ハルシネーションは、うそでも故障でもありません。次の語を確率で選ぶという設計、学習データに1度しか出てこない事実は当てられないという構造、そして分からないと答えると不利になる採点の作り方。この3層から出てくる動きです。2023年6月の注意喚起が「確率的な相関関係に基づいて生成される」と書き、2025年9月の研究が学習データに誤りが無くても誤りが生成されると示したのは、同じことを別の言葉で言っています。
だから場面ごとの見分けが効きます。人名や社名の経歴、条文や規格の番号、出典の名前、最新の仕様、時点や範囲を書かない数値、長い資料の要点、否定を含む条件。これらは機序から危ないと分かる問いで、答えが返ってきた時点では未確認として扱うのが正しい扱いです。逆にここに当たらない問いは、確認の優先度を下げてよい。優先順位を機序の側から付けると、確認が続きます。
そして、検索を併用しても消えないという前提を共有しておくこと。3,000件を超える回答を担当者が評価した2025年10月の調査ではほぼ半数に重大な問題があり、2026年7月の研究も減るがなくならないと書いています。分野を絞った専用の道具でも6問に1問以上が誤ったという2024年5月の検証も、同じ方向を指しています。案は出させ、根拠の箇所を併記させ、確かでなければ分からないと書かせる。そのうえで、出力の使い道ごとに受け止める人を1人決める。減らせない前提で受け皿を先に作っておくほうが、精度を追いかけるより早く実務が回り始めます。
※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。
AI活用を戦略に落とす前に、まずは導入・定着から始めませんか?
デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。
