フレーム問題が示すAIの限界｜考える範囲は人が切る

「指示は具体的に書いたつもりなのに、返ってきた答えが的外れでした」「範囲は伝えたはずなのに、関係のないところまで書き換えられていました」——AIに仕事を任せ始めた組織から届く不満は、多くがこの形をしています。原因を性能や指示の書き方に求めたくなりますが、この現象には1969年に名前が付いています。フレーム問題は、機械が賢くなれば自然に消える種類の問題ではありません。本当は、やろうとしていることに関係のある事柄だけを選び出すという働きが、機械にとっては極端に難しいという話です。この記事では、この問題の出どころと、生成AIでも消えない理由、そして任せる範囲を人が先に切るための手順を整理します。

「指示は正しいのに答えが的外れ」で、実際に起きていること

的外れな答えが返ってきたとき、最初に疑われるのは指示の書き方です。前提が足りなかった、条件を書き忘れた、例を付ければよかった。たしかにそれで直る場合もあります。ただし、書き足しても直らない種類のずれがあります。指示に書いた条件は満たしているのに、答えの範囲そのものが違うというずれです。頼んだのは1つの記事の見出しの調整なのに、全体の構成案が返ってくる。停止すべき広告を1つ挙げてほしいのに、運用方針の見直し案が返ってくる。

この形のずれは、条件を足しても収まりません。条件を足すほど、機械は足された条件に関係する事柄を広く拾おうとするからです。書き足すことで範囲が狭まるのではなく、むしろ広がることさえあります。問題は情報の不足ではなく、どこまでを関係ありとみなすかが決まっていないことにあります。決まっていない以上、機械は渡された材料から自分なりの範囲を組み立てるしかありません。

そして、その組み立て方に一貫した根拠はありません。同じ依頼を翌日に出すと、違う範囲の答えが返ってくることがあります。答えのぶれではなく、範囲のぶれのほうが実務では厄介です。答えの中身は読めば確認できますが、範囲がずれていることは、期待していた答えと突き合わせるまで気づけないからです。

フレーム問題とは、関係のあることだけを選び出せないという問題

この現象には古い名前があります。フレーム問題です。1969年に、ジョン・マッカーシーとパトリック・ヘイズが、人工知能の研究における重要な課題として提起しました。原論文は同じ年の論文集の第4巻、463ページから502ページに収められています。提起から半世紀以上が経っていますが、いまだに解決したとは言われていません。

人工知能学会の解説では、この問題は今からしようとしていることに関係のあることがらだけを選び出すことが、実は非常に難しいという問題だと説明されています。別の解説では、有限の情報処理能力しかないロボットには、現実に起こりうる問題のすべてに対処することができない、という言い方もされています。考慮すべき範囲があらかじめ限られていない限り、原理的には無限の可能性を検討せざるを得なくなるからです。

重要なのは、これが知識の量の問題ではないという点です。知識をいくら増やしても、増えた知識のうちどれが今の作業に関係するかを選ぶ作業が新しく発生します。知識を足すほど、選ぶ手間のほうが増えていきます。だから、機械の記憶容量や計算速度が上がっても、この問題は自動的には縮みません。半世紀前の指摘が今も引用され続けているのは、そのためです。

デネットのロボット。3体とも動けなくなった

この問題を一般に知らせたのは、哲学者ダニエル・デネットが1984年の論文で使ったロボットの例です。もとの論文にロボットの話は出てきておらず、分かりやすい形にしたのはデネットのほうでした。日本語の解説では、爆弾が仕掛けられた部屋から目的の物を取り出す話として紹介されています。予備のバッテリーが台車に載っていて、その同じ台車の上に時限爆弾が置かれている、という場面です。

1体目のロボットは、台車を引き出せばバッテリーを取り出せると考え、そのとおりに実行しました。バッテリーは無事に運び出されましたが、同じ台車に載っていた爆弾も一緒に運び出されて爆発しました。台車を動かせば台車の上の物も動く、という当たり前の副次的な結果を、指示の中で扱っていなかったからです。ここまでなら、考慮する事柄を増やせば直りそうに見えます。

そこで2体目は、行為の副次的な結果をすべて検討するように作られました。ところがこのロボットは、台車の前で止まってしまいます。この台車を動かすと上に載った爆弾は爆発しないか、動かすと壁の色は変わらないか、天井は落ちてこないか。起こりうる事柄を順に検討しているうちに時間が尽きました。3体目は、関係のない事柄を無視するように作られましたが、今度は部屋に入る前に止まりました。無関係なものを無視すると決めた以上、まず何が無関係かを全部確かめる必要があったからです。

3体が示しているのは、無視するという働きの難しさ

この3体の失敗は、それぞれ違う失敗に見えて、同じ一点を指しています。関係のあるものを選ぶ働きと、関係のないものを無視する働きは、裏表ではないということです。1体目は無視しすぎ、2体目は無視できず、3体目は無視するために全部を調べようとしました。無視するという行為自体に、無限の手間がかかりうるのが、この問題の核心です。

人間はこれを苦もなくやっているように見えます。会議室のドアを開けるとき、開けたら天井が落ちてくるかを毎回検討する人はいません。ただし、それは人間がこの問題を解決したからではないという見方があります。百科事典の記述でも、人間は実際にはフレーム問題を解決できておらず、うまく対処しているかのように見えるだけだと唱える研究者もいる、と紹介されています。見えているのは解決ではなく、対処です。

実務の側から見ると、この区別は重要です。解決した働きなら、機械にも同じ働きを移植できるはずです。対処にすぎないなら、移植できるのは対処の型のほうだけになります。人工知能学会の解説でも、この問題は本質的に解決できないとしたうえで、人間と同様にあたかも解決しているかのように振る舞えるようにすることが研究の目標だと書かれています。目指されているのは、解決ではなく振る舞いの再現です。

もとは論理の話だった。狭い意味と広い意味の違い

提起された当初、この問題はもっと限定された技術的な話でした。行為とその結果を論理式で書き表す枠組みの中で、ある行為を実行したあとに何が変わらないままなのかを全部書き出さなければならないという負担の問題です。箱を持ち上げたとき、部屋の壁の色は変わらない、隣の箱の位置も変わらない、外の天気も変わらない。変わらないことを1つずつ書いていくと、書くべき式の数が現実的でない規模に膨らみます。

その後、この名前はもっと広い意味でも使われるようになりました。広い意味では、行為者はそもそもどうやって「何が今の問題に関係するか」を知るのか、という問いになります。デネットのロボットが示していたのはこちらのほうです。2つは同じ名前で呼ばれますが、扱っている層が違います。この違いを押さえておくと、解決したという主張が何について解決したのかを見分けられます。

	狭い意味（論理の側）	広い意味（判断の側）
何が問題か	行為の後に変わらないことを、全部書き出す必要が生じる	そもそも何が関係するのかを、行為者が自分では決められない
対処の方向	書かなくても既定で変わらないとみなす仕組みを入れる	関係する範囲を、外から与える
現在の扱い	形式的な工夫で扱いやすくなった部分がある	本質的な解決には至っていないとされる
実務への影響	設計者が意識する層。運用者からは見えにくい	運用者がそのまま直面する層。任せる範囲の設計そのもの

この表の右の列が、今のAI活用でそのまま起きていることです。関連する問題として、行為が成功するための条件を全部は書き切れないという問題や、1つの行為の影響がどこまで及ぶかという問題も指摘されています。いずれも書き切れなさという同じ性質を持っています。

なぜ生成AIになっても、この問題は消えないのか

生成AIを使っていると、フレーム問題は解決したように見えます。当たり前のことをいちいち検討して固まったりしませんし、常識に反する答えもあまり返ってきません。ところが、これは範囲を決められるようになったからではありません。止まらずに答えるようになっただけです。デネットの2体目や3体目のように固まってくれないので、範囲を外したまま最後まで走り切ります。

何を関係ありとするかは、渡された文脈のほうで決まっています。同じ問いでも、前に添えた資料が違えば、拾われる事柄が変わります。会話の途中で別の話題を挟むと、その後の答えの範囲がそちらに引っ張られます。範囲は機械が判断しているのではなく、渡した材料の側に書き込まれています。この構造は、モデルが新しくなっても変わりません。

むしろ、止まらなくなったぶん実務では見つけにくくなりました。固まってくれれば「範囲が広すぎる」と気づけますが、それらしい答えが返ってくると、範囲がずれていることに誰も気づきません。もっともらしさは、範囲の正しさを何も保証しません。読んで違和感がないことと、依頼した範囲に収まっていることは別の話です。

もっともらしさが、範囲のずれを覆い隠す

範囲のずれが見逃される仕組みは単純です。人は文章を読むとき、内容の正しさよりも先に、文章として成立しているかを見ます。整った文章で、根拠らしきものが添えられていれば、依頼した範囲と違っていても最後まで読んでしまいます。読み終えたときには、その答えが前提としている範囲のほうを受け入れてしまっています。

この現象は、確認の手順を変えるだけでかなり防げます。答えを読む前に、依頼した範囲を1行で書き出しておくことです。「今回見てほしいのは、直近1か月の、この1つの経路の数字だけ」。書き出してから答えを読むと、範囲の外に踏み出した部分が浮き上がって見えます。先に書いておかないと、読んだ後では自分が何を頼んだのかが答えに引きずられます。

もう1つ有効なのが、答えに範囲を書き返させることです。結論の前に、何を対象として、何を対象外として扱ったかを1行ずつ書かせる。ここが依頼と食い違っていれば、中身を読む前に差し戻せます。中身の検算より、範囲の突き合わせのほうが速く、しかも効きます。

文脈を長くしても、範囲は決まらない

範囲がずれるなら、もっと多くの情報を渡せばよい、という発想が出てきます。関連しそうな資料を全部添える、過去のやり取りを全部残す、社内の文書をまとめて読ませる。ところが、この方向で解決しないことは技術者の側からも指摘されています。一度に読み込める情報の上限を広げること自体は、根本的な解決にはならないという見方です。長くするほど途中の情報が効きにくくなるという検証も紹介されています。

理屈の上でも、これは当然です。渡す情報を増やすことは、関係のあるものを増やすと同時に、関係のないものも増やすからです。デネットの3体目が止まったのは、無関係なものを1つずつ確かめようとしたからでした。関係のない材料を渡すことは、無視すべきものを増やすことと同じです。無視の手間は、渡した量に比例して増えます。

実際、社内の文書をまとめて読ませると、答えの質が上がるどころか下がることがあります。古い方針の文書と現在の方針の文書が両方入っていれば、どちらを前提にするかは機械には決められません。量を渡すことと、範囲を渡すことは別の作業です。必要なのは、多く渡すことではなく、外を切ることです。

場面1：社内の問い合わせ対応を任せたとき、どこで外れるか

BtoBの現場で最初にAIが入るのが、社内からの問い合わせ対応です。経費の申請方法、休暇の取り方、契約書の回付の手順。過去の質問と回答を読ませて、同じような質問に自動で答えさせる。件数が多く、答えが決まっている質問が多いので、効果が出やすい領域です。ところが、ここでも範囲の問題は起きます。

外れ方は決まっています。1つ目は、答えられない質問に答えてしまうこと。制度の運用が変わった直後の質問に、古い資料を根拠にして答える。2つ目は、質問の裏にある個別事情を無視すること。「この経費は申請できますか」という質問に、一般的な規程を返してしまい、その部署だけに適用される例外を拾わない。どちらも、答える範囲を決めていないことから起きています。

対処は、範囲を質問の側ではなく資料の側で切ることです。読ませる資料を現行版だけに限定し、改定日の入っていない文書は入れない。例外規程がある部署の質問は、最初から人へ回す。そして、答えの末尾に必ず根拠にした文書の名前と改定日を書かせる。根拠を書かせると、範囲の外の資料を使ったことがその場で分かります。書かせない運用では、外れたことに誰も気づけません。

場面2：広告の停止判断を任せたとき、どこで外れるか

もう1つ、範囲のずれが分かりやすく出るのが広告の運用です。日次の数字を渡して、止めるべき広告を挙げさせる。数字の集計と並べ替えは機械が得意な作業なので、一見うまくいきます。実際、費用対効果の悪い広告を挙げる作業自体は、かなりの精度でこなします。問題は、挙がってきたものを止めてよいかどうかです。

外れるのは、数字の外に理由がある広告です。展示会の直前だけ出している指名の広告は、単体では費用に見合いません。しかし、そこを止めると会場での想起が落ちます。競合が入札を強めている語は、費用が跳ね上がっていても撤退すると戻すのに時間がかかります。渡した数字の中には、止めてはいけない理由が一切書かれていません。書かれていない以上、機械の側から出てくることはありません。

だから、この場面では判断そのものを渡しません。渡すのは、費用対効果が悪化している候補を挙げる作業と、悪化がいつから始まったかを示す作業までです。止めるかどうかは人が決め、決めた理由を1行残します。数字に現れない事情を持っているのは、この会社の中の人だけという前提を、運用の形にしておきます。

場面3：作業の途中で前提が変わったとき、機械は気づかない

3つ目は、資料や原稿の作成です。構成案を作らせ、下書きを書かせ、修正を重ねていく。この流れの中で起きるのが、途中で前提が変わったのに、変わる前の範囲のまま作業が続く現象です。たとえば、想定していた対象を法人全般から特定の業種に絞ることになった。この変更を1行で伝えると、その後の出力は表面上は業種に触れつつ、構成の骨格は元のままになります。

これは指示の伝わり方の問題ではありません。すでに渡してある文脈の中に、前の前提で作った構成案が残っているからです。機械にとっては、新しい1行も古い構成案も、同じ材料として並んでいます。どちらが今の前提かを決める仕組みは、材料の側には入っていません。だから、古い骨格に新しい語を貼り付けた出力になります。

対処は単純で、前提が変わったら会話を切ることです。新しい前提だけを書いた材料を作り直し、そこから始める。作業の連続性を惜しんで同じ流れを続けると、変更前の範囲を引きずったまま最後まで進みます。前提が変わった時点が、範囲を切り直す時点です。ここを飛ばした作業は、完成間際に骨格から作り直すことになります。

着地1：任せる範囲を、人が先に切る

ここからが実務の話です。対処は3つで、1つ目が最も効きます。任せる範囲を人が先に切ることです。切るとは、対象を挙げることではなく、対象外を明示することを指します。「この経路の数字を見て」ではなく、「この経路の直近1か月だけを見て、他の経路と、1か月より前は見ない」。外を書いて初めて、範囲は範囲になります。

この手順で効くのは2つ目と4つ目です。対象外を書く作業は面倒に感じますが、書いてみると、自分でも範囲を決めていなかったことに気づきます。範囲が書けない依頼は、そもそも人に頼んでも同じようにずれます。機械に渡す前に、依頼として成立しているかを確かめる工程だと考えると、この手間は無駄になりません。

着地2：関係のないものを渡さない

2つ目は、渡す材料を減らすことです。前の節で見たとおり、渡す量が増えると無視すべきものが増えます。手元にある資料を全部渡すのは、範囲を広げる行為にほかなりません。渡す材料は、その作業のために選んだものだけにします。選ぶ手間を惜しむと、その分だけ確認の手間が増えます。

実際に効くのは、次の3種類を外すことです。1つ目は、改定日が入っていない資料。今も有効かどうかが判断できません。2つ目は、複数の方針が併存している資料の束。どちらを前提にするかを機械は決められません。3つ目は、他部署の事情が入った資料。関係する部分と関係しない部分が混ざっており、混ざったまま拾われます。材料を絞ることは、指示を細かく書くことより効きます。

会話の履歴も材料です。前の依頼で使った文脈が残っている状態で次の依頼を出すと、前の範囲が引き継がれます。依頼が変わったら会話を切る、という運用を決めておくだけで、原因の分からないずれの半分近くは消えます。1つの会話には1つの範囲、という単位を守ります。

着地3：途中で範囲が変わったら、止める

3つ目が最も抜けやすい対処です。作業の途中で前提が変わったときに、いったん止める。止めずに続けると、変わる前の範囲を引きずった成果物ができます。止めるべき合図は、あらかじめ言葉にしておきます。対象が変わった、期間が変わった、判断の基準が変わった、根拠にする資料が差し替わった。この4つのどれかが起きたら止める、と決めておきます。

止めるという判断を人が持つ理由は、機械の側に前提の変化を検知する仕組みが無いからです。新しい情報は、古い情報を打ち消すのではなく、隣に並びます。打ち消すのは人の仕事です。この線引きを運用の手順として書いておかないと、忙しいときほど流れで続けてしまい、後で作り直しになります。

止めた後にやるのは、範囲の切り直しです。新しい前提で1文を書き直し、対象と対象外を書き直し、材料を選び直す。前の会話から引き継ぐのは、確認済みの事実だけにします。引き継ぐのは事実で、文脈は引き継がない。この区別を守ると、作業の連続性を保ちながら範囲を切り替えられます。

人間も、この問題を解いてはいない

最後に、AIの限界としてこの問題を語るときに落としがちな点に触れます。人間もこの問題を解いてはいない、という指摘です。前に触れたとおり、人間は解決しているのではなく、うまく対処しているように見えているだけだという見方が紹介されています。実際、人間も範囲を外します。会議で議題と関係のない話に逸れる、資料で聞かれていないことに紙面を割く、指示された作業の周辺まで手を広げる。

違いは、人間には範囲がずれたときに気づく仕組みが備わっていることです。相手の表情、途中で入る質問、時間の制約。これらが外からの合図として働き、範囲を戻します。機械には、この外からの合図が入ってきません。だから、合図に当たるものを運用の側で作る必要があります。範囲を書き返させることも、途中で止める手順も、この合図を人工的に用意する工夫です。

この見方に立つと、対処の設計が現実的になります。完全に範囲を守る仕組みを作ろうとするのではなく、外れたことに早く気づく仕組みを作る。人間の会議でも、脱線しない会議を作るのではなく、脱線に気づいて戻す役を置くほうが現実的です。目指すのは、外さないことではなく、外れたと分かることです。

範囲を切るときのチェックと、やりがちな失敗

範囲を切る作業は、2つに分けて見ます。まず、渡す前に確認する項目を並べます。次に、失敗の型を挙げます。失敗の型のほうは、どれも一度は通る道なので、事前に読んでおくと気づくのが早くなります。

• この作業で決めたいことを、1文で書けているか
• 対象と同じ数だけ、対象外を書いているか（期間・部署・商材・経路）
• 渡す資料を名前で指定し、それ以外を渡していないか
• 渡す資料に改定日が入っているか。古い版が混ざっていないか
• 出力に、扱った範囲を書き返させる指定を入れているか
• 人が確認する箇所を、数字・固有名詞・判断の3つに絞って決めているか
• 前提が変わったときに止める合図を、言葉にして共有しているか

• 範囲がずれたときに、指示を書き足して直そうとする。条件を足すと拾う範囲はむしろ広がることがある
• 関係しそうな資料を全部渡す。渡した量だけ、無視すべきものが増える
• 前提が変わったのに同じ会話を続ける。古い前提が材料として残り、骨格に効き続ける
• 答えのもっともらしさで範囲の正しさを判断する。読みやすさと範囲の妥当性は無関係
• 止めてよいかどうかの判断まで渡す。数字に現れない事情は、社内の人しか持っていない
• 確認の範囲を決めずに全部を目で見ようとする。続かないので、やがて何も見なくなる

• この問題は、モデルを新しくしても消えない。運用の側で範囲を切る手順を持つ
• 範囲の突き合わせは、中身の検算より速い。答えを読む前に依頼した範囲を1行書いておく
• 1つの会話には1つの範囲。依頼が変わったら会話を切る

最後の項目は、地味ですが効果が大きい習慣です。会話を切ることに抵抗があるのは、それまでのやり取りが無駄になるように感じるからです。実際には、引き継ぐべきなのは確認済みの事実だけで、やり取りの流れそのものではありません。事実を数行にまとめて持ち出せば、失うものはほとんどありません。

まとめ

的外れな答えの多くは、性能の問題でも指示の書き方の問題でもなく、どこまでを関係ありとするかが決まっていないことから起きていました。この難しさには1969年に名前が付いており、マッカーシーとヘイズが提起して以来、本質的に解決したとは言われていません。デネットのロボットは、無視しすぎて失敗し、無視できずに止まり、無視するために全部を調べて止まりました。3体が指しているのは、無視という働きそのものに無限の手間がかかりうるという一点です。

生成AIになって、この問題は消えたのではなく見えにくくなりました。止まらずに答えるので、範囲を外したまま最後まで走り切ります。何を関係ありとするかは、渡した文脈のほうで決まっています。だから、材料を増やしても範囲は決まりません。増やせば増やすほど、無視すべきものが増えるだけです。もっともらしい文章は、範囲が正しいことを何も保証しません。

実務でやることは3つです。任せる範囲を人が先に切ること。対象だけでなく対象外を書き、渡す資料を名前で指定します。関係のないものを渡さないこと。改定日の無い資料、方針が併存する束、他部署の事情が混ざった資料は外します。そして、途中で前提が変わったら止めること。対象、期間、判断の基準、根拠の資料。この4つのどれかが変わったら会話を切り、範囲を切り直します。範囲を切る仕事は、機械に渡せない仕事として手元に残ります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。