同じ問いでもAIの答えが変わる原因｜答えを揃える手立て

「先週と同じ資料を渡して同じことを聞いたのに、返ってきた答えが違う」「一度うまくいった指示が、翌日には同じようには動いてくれない」——生成AIを業務に組み込みはじめた部署から、必ず出てくる声です。手順書に落とそうとした瞬間に、この揺れが壁になります。ただ、これは設定を間違えたから起きている不具合ではありません。本当は、答えをひとつに定めない仕組みの上に生成AIが載っているために起きています。この記事では、揺れがどこから来ているのか、どこまでは揃えられて、どこから先は揃わないのかを順に見ていきます。

答えが毎回変わるのは、不具合ではない

まず言葉を整理します。ここで扱う揺れとは、入力を一切変えていないのに出力が変わることを指します。指示を書き直したから答えが変わった、資料を差し替えたから結論が変わった、というのは揺れではありません。同じ入力に同じ出力が返るとは限らない、というのが生成AIの既定の振る舞いです。

この前提は、これまでの業務システムと真逆です。同じ数字を入れれば同じ計算結果が返る、という経験の上に社内の手順書は組み立てられています。だから生成AIを同じ感覚で手順書に落とそうとすると、必ずどこかで齟齬が出ます。揺れを消すのではなく、揺れを前提に組むという考え方に切り替えるところが出発点です。

そのうえで、揺れは1つの原因から出ているわけではありません。少なくとも4つの層に分かれていて、利用者の側から手が届く層と、まったく届かない層があります。ここを混ぜたまま対策を打つと、効かない手立てに時間を使うことになります。まずは出どころを分けるところから始めます。

出どころ一：次に来る語を、確率で選び続けている

生成AIは文章をまとめて作っているのではなく、次に来る語をひとつずつ選ぶ作業を繰り返しています。各段階で、候補となる語それぞれに確からしさが割り当てられ、その中から次の語が決まります。候補が一つに絞られているわけではないので、同じ場面で違う語が選ばれることが起こります。

厄介なのは、一語の違いがそこで終わらない点です。選ばれた語は次の段階の材料になるので、そこから先の候補の並びごと変わります。序盤で分かれれば全然違う文章になり、終盤で分かれれば語尾だけが違う文章になる。同じ問いへの答えが、似ているのに一致しないという見え方は、この積み重なりから生まれています。

実際の検証でも、この振る舞いは数字で確かめられています。ばらつきを最小にした設定で同じ問いを1,000回投げたところ、80通りの異なる答えが返り、その多くは百語ほど進んだところから枝分かれが始まっていたという報告があります。最初の一語で分かれるとは限らない、というのが実務では効いてきます。冒頭を見て「同じ答えが返った」と判断すると、後半で違っていることを見落とします。

出どころ二：指示の受け取り方と、渡す資料の並び

2つ目は、入力の側にある揺れです。厳密には入力が同じなら起きないはずですが、実務では「同じつもりで違う入力を渡している」場面が驚くほど多くあります。会話を続けたまま同じ質問を投げれば、前のやり取りが材料に加わっています。履歴が積み上がった状態と、新しく始めた状態は、同じ入力ではありません。

社内の資料を検索して差し込む形で使っている場合は、さらに動きます。検索の結果は、資料が1件追加されただけでも並び順が変わることがあります。上位から何件を渡すかを決めていると、境目にあった資料が入ったり外れたりする。渡る材料が変われば、答えが変わるのは当然です。これは揺れというより材料の入れ替わりで、原因も対策も別物として扱う必要があります。

指示そのものの書き方も効きます。同じ内容でも、条件を先に書くか後に書くかで、どこを重く受け取るかが変わります。とくにどちらとも取れる指示は、毎回違う解釈で埋められます。「重要なものを抜き出して」と書けば、何を重要とみなすかは毎回その場で決まります。ここは設定ではなく文章で塞ぐ場所です。

出どころ三：モデルの版が、黙って入れ替わる

3つ目は、呼び出している相手そのものが変わっている場合です。多くの提供元は、モデルを指す名前として、日付の入った実体と、その実体を指し示す短い別名の両方を用意しています。別名のまま呼び出していると、指し示す先が入れ替わった瞬間に、同じ名前で違うモデルを呼ぶことになります。

加えて、モデルそのものが同じでも、動かしている基盤の設定が更新されることがあります。ある提供元は、応答に添えて基盤の構成を示す値を返しており、要求の条件を変えたときと、提供元が基盤の数値設定を更新したときに、この値が変わると説明しています。更新の頻度は年に数回程度とされています。値が違えば、同じ条件で比べているとは言えません。

この層は、気づきにくいのが最大の問題です。ある日を境に出方が変わっても、画面には何の通知も出ません。「先月と様子が違う」という現場の感覚だけが残り、原因の特定に時間を取られます。呼び出しの記録に版と条件を残しておくと、この確認が数分で終わります。

出どころ四：処理の並び方そのもの

4つ目は、利用者の側からはまったく触れない層です。生成AIは、多数の依頼を同時に処理する仕組みの上で動いています。そのとき何件が一緒に流れているかによって、計算のまとめ方が変わります。まとめ方が変われば、計算の順序が変わり、ごくわずかな差が生まれます。

差そのものは極めて小さいのですが、候補の確からしさが接近している場面では、この小さな差が順位をひっくり返します。順位が入れ替われば選ばれる語が変わり、そこから先が分かれる。前述の1,000回の検証でも、原因は計算の丸め誤差そのものではなく、同時に処理されている依頼の量で計算の順序が変わることにある、と報告されています。

この層は、近年のモデルでさらに効きやすくなっています。答える前に考える過程を挟むモデルが主流になり、しかもその過程は同じ確率の仕組みで作られています。つまり、考え方そのものが毎回わずかに違う。考える手数を深くするほど分かれる機会も増えるので、難しい問いほど答えが割れやすくなります。簡単な問いでは揃うのに、判断の要る問いだけ揃わない、という現象はここから来ています。

• この層は、利用者が設定で消せるものではありません。提供元の側で処理の順序をそろえる工夫は研究されていますが、処理できる量が落ちるという代償があります。
• つまり、混み合う時間帯とそうでない時間帯で答えの揃い方が変わりうる、ということでもあります。検証を昼休みに一度だけ回して結論を出すのは避けてください。

どこまで手が届くのかを、先に見積もる

4つの出どころを、利用者の側で対処できるかどうかで並べ直します。この表を先に見ておくと、労力をかける場所を間違えずに済みます。

出どころ	何が起きているか	利用者側で手が届くか
語を確率で選ぶ	候補が複数あり、選び方に幅がある	届く。設定と出力の形の指定で狭められる
指示の受け取り方	言い回しと位置で重みが変わる	届く。指示を固定し、曖昧さを埋める
渡す資料と履歴	検索結果の並びや会話の蓄積で材料が変わる	届く。件数と並べ方を固定する
モデルの版と基盤	名前の指す実体や基盤の設定が入れ替わる	部分的に届く。版を明示して記録する
処理の並び方	同時に流れている量で計算の順序が変わる	届かない。前提として受け入れる

表の上から3つは、こちらの作り方で相当に絞れます。4つ目は指定と記録で気づけるようにできます。5つ目だけは、どうやっても残ります。だから目標は「完全に一致させる」ではなく、「後工程が壊れない範囲に収める」になります。この目標の置き方を最初に社内で合わせておくと、無駄な作り込みが減ります。

もうひとつ、見積もりのときに落としやすい観点があります。手順が重なるほど、揺れは積み上がるという性質です。1回の呼び出しで9割そろう処理でも、それを5回つなげれば、全部そろう割合はぐっと下がります。近年は、同じ課題を複数回まるごと走らせて全て成功する割合を見る指標が使われはじめており、道具の呼び出しを何度も挟む使い方ではこの数字が大きく落ちることが知られています。1回あたりの揺れが小さいことと、業務として使えることは別だと考えておいてください。

手立て一：ばらつきの度合いを下げる設定と、その限界

最初に思い浮かぶのが、ばらつきの度合いを決める設定を下げる方法です。この値を小さくすると、確からしさの高い候補に寄った選び方になります。案出しでは幅がほしいので大きめに、分類や抽出では小さめに、という使い分けが定石として語られてきました。

ただし限界が2つあります。ひとつは、最小にしても揺れは零になりません。候補の確からしさが接近している場面では、前述の計算順序の差だけで順位が入れ替わるからです。先ほどの1,000回で80通りという検証は、まさにこの設定を最小にした条件での結果でした。

もうひとつが、近年の変化です。ある提供元の公式資料には、新しい世代のモデルではこの設定そのものが受け付けられなくなり、送ると要求が拒否されると明記されています。設定で細かく調整するという前提が、モデルの世代交代とともに崩れつつあります。設定に依存した設計は、いずれ作り直しになります。揺れを抑える主軸は、次に挙げる出力の形の指定に移していくのが安全です。

手立て二：出力の形を、先に決めてしまう

いま最も効くのが、返してほしい形を先に指定してしまう方法です。項目名と、それぞれが数値なのか文字なのか真偽なのか、どれが必須なのかをあらかじめ渡し、その形に沿った出力だけを返させる仕組みが主要な提供元から出ています。

提供元の説明では、この仕組みを使うと、機械が解釈できる形式であることと、型と必須項目が守られることが保証され、形式の違反による作り直しが要らなくなるとされています。裏を返すと、指定しない場合は形式が崩れることがある、と提供元自身が認めているわけです。表を作らせる、一覧を返させるといった用途で毎回整形し直しているなら、ここが一番大きく効きます。

注意点として、この仕組みが揃えるのは形であって中身ではありません。項目は必ず埋まりますが、そこに入る値が毎回同じとは限りません。それでも、揺れる範囲が値だけに閉じ込められるのは大きな前進です。後工程の処理が形式の崩れで止まる、という事故がなくなります。

手立て三：例を添え、判断の分かれ目を言葉で埋める

分類や振り分けの揺れは、設定ではなく指示の書き方で大きく減ります。効くのは区分の定義と、どちらとも取れる場合の寄せ方を書くことです。「問い合わせを、資料請求、見積依頼、その他に分けて」だけでは、見積の金額に触れた資料請求がどちらに入るかは毎回その場で決まります。

そこで「金額の記載があれば見積依頼に寄せる」「両方に該当する場合は見積依頼を優先する」といった分かれ目の処理まで書き添えます。加えて、実際の例を3件ほど、正解つきで添えるとさらに安定します。曖昧さを残した指示は、毎回違う解釈で埋められるという性質を逆手に取り、埋めさせない書き方にするわけです。

この作業は、実は業務の言語化そのものです。人によって判断が割れていた場所を書き出すことになるので、AIを使わない部分の品質も上がります。揺れの調査を始めたら社内の運用の曖昧さが先に見つかった、というのはよくある展開です。

手立て四：渡す資料と版を固定する

材料の入れ替わりによる揺れは、固定で塞げます。社内資料を検索して差し込む形なら、渡す件数と並べ方を明示的に決めることから始めます。並びを検索の点数順にするのか、日付順にするのか。上位いくつまで渡すのか。決めていないと、資料が増えるたびに渡る材料が静かに変わっていきます。

会話の履歴も同じです。手順として回す処理では、前のやり取りを持ち越さず毎回まっさらから始める形にしておくと、材料が揃います。人が対話しながら使う場面と、決まった処理として回す場面で、そもそも設計を分けておくのが実務的です。

版については、短い別名ではなく日付まで含んだ指定で呼び出すのが基本です。そのうえで、いつどの版で何を投げたかを記録に残します。記録があると、出方が変わったときに版のせいかどうかを最初の数分で切り分けられます。記録がないと、この切り分けだけで半日が消えます。

それでも完全には揃わない、を前提に置く

ここまでの手立てを全部打っても、答えは完全には一致しません。これは推測ではなく、提供元自身が書いていることです。同じ種の値を指定し、他の条件も同じにし、基盤の構成を示す値まで一致していても、差が出ることはあると公式の解説に明記されています。決定的な動作は保証しない、という言い切りです。

だから業務設計では、必ず同じ答えが返ることを前提にした工程を作らないのが鉄則になります。前回の出力と一字一句照合して差分があれば異常とみなす、といった仕組みは、正常な揺れで鳴り続けます。判定に使うなら、一致しているかではなく、結論が同じかどうかで見るべきです。

もうひとつ、社内への伝え方も設計のうちです。「AIは同じ答えを返しません」と最初に伝えておくと、現場は驚かずに済みます。逆にこれを伝えないまま導入すると、最初の揺れが見つかった時点で「壊れている」という話になり、取り戻すのに余計な労力がかかります。

揺れてよい仕事と、揺れては困る仕事を分ける

すべての用途で揺れを抑える必要はありません。むしろ幅がほしい仕事もあります。先に仕分けておくと、どこに手をかけるかがはっきりします。

仕事	揺れの扱い	手当ての中心
企画の案出し、切り口の洗い出し	揺れてよい。むしろ幅がほしい	何度も投げて幅を集める
下書き、要約の言い回し	揺れてよい。人が仕上げる前提	確認の工程を工程表に置く
問い合わせの分類、振り分け	困る。同じものが日によって別の箱に入る	区分の定義と分かれ目の明文化
金額や日付、社名の抜き出し	困る。後工程が壊れる	出力の形の指定と、値の検算
優先度や可否の判定	困る。人の扱いに直結する	AIに判断させず、材料の整理までにする

この表で最も注意したいのが最終行です。揺れる仕組みの出力を、そのまま人の扱いに直結させない。取引先の選別や応募者の評価に使う場面では、同じ相手が日によって違う扱いになる可能性が残ります。材料の整理まではAIに任せ、判定は人が引き受ける。この線引きが、揺れの問題を一番確実に片づけます。

困る側に入れた仕事には、もうひとつ手立てがあります。同じ問いを複数回投げて、多い答えを採るという方法です。それぞれの試行が違う経路をたどる一方で、外れ方はばらけ、当たりは同じところに集まりやすい。この性質を使って揺れを均します。分類や抽出のように答えが短く数えられる仕事では、3回投げて多数決を採るだけでも揃い方が改善します。ただし費用と待ち時間は回数のぶん増えますし、難しい問題では多数派のほうが誤るという報告もあるので、どの業務に効いたかは自社で測ってから広げてください。

揃っているかを、測れる形にする

揺れの議論は、放っておくと印象論になります。「最近ぶれている気がする」に対して「そんなことはない」と返ってくるだけで終わる。測れる形にしておくことが、この不毛なやり取りを避ける唯一の方法です。難しい仕組みは要りません。

この記録が貯まってくると、社内の議論が変わります。「先週より落ちている」が数字で言えるようになり、版を上げるかどうかの判断にも根拠がつきます。測っていない揺れは、直せないというのが実感です。

判定の仕方にはひとつコツがあります。一字一句の一致で見ないことです。要約や説明では、同じ内容を別の言い回しで返してくることが普通にあります。文字列の比較で判定すると、実務上は問題のない差まで不一致として数えられ、数字が意味を持たなくなります。分類なら区分、抽出なら値、要約なら押さえるべき論点が含まれているか。業務にとって同じかどうかで判定すると決めておくと、測った数字がそのまま運用の判断に使えます。

AIに判断させない範囲を、先に決める

揺れを前提にした運用の要は、人が確かめる場所を先に決めておくことです。後から決めようとすると、忙しくなった週に確認そのものが消えます。決めるべきは3つで、そのまま外に出してよい範囲、根拠を書かせる場面、人が全件を見る範囲です。

2つ目の根拠を書かせるという点は、揺れの文脈でとくに効きます。分類や抽出を頼むときに、渡した資料のどの記述からその結論に至ったかを併記させておく。そうすると、揺れが出たときにどちらの読み方が妥当かを人がすぐ判定できます。根拠のない結論だけが返ってくる形だと、揺れの原因追及に毎回時間がかかります。

3つ目の全件を見る範囲は、業務ごとに幅を持たせて決めます。金額や日付の抜き出しのように後工程が壊れるものは全件、要約や下書きのように人が仕上げる前提のものは抜き取り、案出しは確認そのものを置かない。確認の量を一律にすると、必要な場所で足りず、不要な場所で余ります。そして決めた範囲は、誰がいつ確認したかまで作業の記録に残る形にしておきます。揺れる仕組みを業務に載せるとき、最後に効いてくるのはこの記録です。

• 出力をそのまま後工程へ流す：形式が崩れた一回で処理が止まり、原因の切り分けに時間を取られる
• 一度そろったことをもって「安定した」と結論づける：5回投げて5回同じでも、6回目が同じである保証はどこにもない
• 揺れを零にすることを目標に置く：到達できない目標のために作り込みが終わらず、導入そのものが止まる
• 人が確認する範囲を決めないまま広げる：使う場面だけが増え、確認は最初に忙しくなった週に消える

揺れが「落ちた」に見えたときの切り分け

運用が続くと、必ず「以前より精度が落ちた」という声が出ます。ここで最初にやるべきなのは、原因の分析ではなく切り分けです。本当に落ちたのか、もともと揺れていた幅の中の一回を見ているだけなのか。この2つは対処がまったく違います。

入口の手順は3つです。ひとつ、同じ条件でもう数回投げ直してみる。何回かに一回は良い答えが返るなら、落ちたのではなく揺れの幅の話です。ふたつ、定点の問いの記録と比べる。数字が下がっていなければ、特定の一件がたまたま外れただけと判断できます。みっつ、版と条件が変わっていないかを確かめる。別名で呼び出していたなら、ここが最有力です。

この3つで白黒がつかない場合に、はじめて本格的な調査に進みます。印象で調査を始めないことが、限られた時間を守るうえで効きます。定点の問いを置いておく価値は、この切り分けの速さに一番よく表れます。声が上がったその日のうちに、揺れの幅の話なのか、条件が変わった話なのかまで返せると、現場の信頼も保ちやすくなります。

ミニ用語解説

社内で話すときに噛み合いにくい言葉を、日本語で整理しておきます。英語の名前で覚えるより、何をする仕組みかで覚えたほうが議論が早く進みます。とくに、情報システムの担当と現場の担当が同じ言葉を違う意味で使っている場面が多く、「設定を下げたのに揃わない」という話が、実は別々の仕組みを指していた、ということが起こります。下に挙げた言葉だけでも社内でそろえておけば、揺れをめぐるやり取りはかなり噛み合うようになります。

• ばらつきの度合いを決める設定：候補の中からどれくらい確からしさの低い語まで選ぶかを調整する値。小さくすると寄りが強くなるが、零にはならない。新しい世代のモデルでは受け付けない例が出ている
• 出力の形の指定：返してほしい項目名と型、必須の項目を先に渡し、その形に沿った出力だけを返させる仕組み。形は保証されるが、中身の値が揃うわけではない
• 版の固定：モデルを短い別名ではなく、日付まで含んだ指定で呼び出すこと。別名は指し示す先が入れ替わることがある
• 基盤の構成を示す値：応答に添えて返る、モデルと動かしている環境の組み合わせを表す値。これが変わっていたら、同じ条件で比べているとは言えない
• 定点の問い：毎回まったく同じ内容を投げて、答えの揃い方を比べるために置いておく問いの束。自社で作るもので、決まった規格はない
• 多数決を採る：同じ問いを複数回投げ、最も多かった答えを採用する進め方。揺れは均せるが、そもそも偏っている答えは多数決でも直らない
• 意味として同じかで判定する：答えを一字一句ではなく、区分や値、押さえるべき論点が合っているかで揃い方を数える見方。要約や説明を測るときはこちらでないと数字が意味を持たない

用語をそろえる作業には、思わぬ副産物があります。揺れの話は、言葉が曖昧なままだと「AIの性能が悪い」という一言に丸め込まれてしまいがちです。出どころを指す言葉が社内にあれば、「それは版が入れ替わった話ですね」「渡している材料が変わっただけです」と切り分けた会話ができます。導入の初期にこうした用語の一覧を1枚だけ作っておくと、その後に上がってくる相談の質がはっきり変わります。原因の見当がついた状態で相談が来るようになるからです。

まとめ

同じ問いでもAIの答えが変わるのは、故障ではなく仕組みの側から来ています。出どころは、語を確率で選ぶ仕組み、指示と資料の入れ替わり、モデルの版、そして処理の並び方の4つに分かれ、最後のひとつには利用者から手が届きません。打つべき手は、出力の形を先に決めること、渡す資料と件数を固定すること、版を日付まで含めて指定して記録に残すこと。ばらつきの度合いを決める設定は主軸にせず、補助として扱うのが安全です。そのうえで、揺れてよい仕事と困る仕事を分け、困る側では人が確かめる場所を先に決めておく。手順を何度も重ねる使い方では、1回あたりの揺れが小さくても全体では大きく崩れるので、重ねる回数そのものを減らす設計も選択肢に入れてください。定点の問いを10件ほど用意して定期的に投げるところから始めれば、揺れの議論を印象論から数字の話へ移せます。測った記録が半年たまれば、版を上げるかどうかも、どの業務まで広げるかも、根拠を添えて決められるようになります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。