エージェント型のRAGとは？｜一度の検索で足りない問い

「社内の資料を読ませたのに、部署をまたぐ質問になると答えが返ってきません」「1件だけ聞けば合っているのに、件数を数えさせると外します」——資料を引いて答えさせる仕組みを社内に置いた現場から上がってくる報告です。2026年6月に公表された検証では、複数の資料をまたいで答える問題5,000問に対し、1巡だけで答える方式の完全一致は43.1%、検索を組み替えながら何度か引く方式は53.2%でした。同じ資料と同じモデルでも、10ポイントの差が出ています。差を作っているのはモデルの賢さではありません。本当は、引く回数と引き直すかどうかの判断が仕組みに入っているかどうかです。この記事では、一度の検索で足りない問いにどう答えるのかという観点から、RAG（外部の資料を引いて答えさせる仕組み）にエージェント型が何を足しているのか、その代償は何か、固定の方式で足りるのはどんな場合かを整理します。

「一度の検索では届かない問い」には4つの型がある

資料を引いて答えさせる仕組みを社内に置くと、最初の1週間で「答えられる問い」と「答えられない問い」がはっきり分かれます。答えられなかったほうを並べてみると、ばらばらの失敗ではなくいくつかの型に収まります。1つ目は複数の資料をまたぐ問いです。制度の条件が規程に書かれ、例外が別の通知に書かれ、実際の運用が議事録に残っている場合、どれか1つを引いただけでは答えが完成しません。

2つ目は条件で分岐する問いです。「この契約形態のときはどうなるか」という問いは、まず契約形態を確かめ、次にその形態に対応する規定を引く、という2段になります。最初の検索では、どの規定を引けばよいかがまだ決まっていません。3つ目は数え上げが必要な問いです。該当する事例が何件あるかを答えるには、1件を見つけるのではなく、条件に当たるものを網羅して数える必要があります。

4つ目は版を見分ける問いです。同じ様式の文書が改訂を重ねている場合、意味の近さだけで引くと旧版が上位に来ます。この4つに共通しているのは、引いた資料の中に答えがそのまま書かれていないという点です。資料の置き方や区切り方を直しても、この4つは埋まりません。1回引いて終わる、という手順そのものが問いの形に合っていないからです。

導入の判断に入る前に、社内で答えられなかった問いを30件ほど集め、この4つに振り分けてみてください。4つのどれかに多くが集まるなら、エージェント型を検討する意味があります。逆に「1か所に答えが書かれている問い」が大半なら、後述する地味な改善のほうが費用対効果が高いという判断になります。

エージェント型のRAGとは、何を足した仕組みなのか

外部の資料を引いて答えさせる仕組みは、質問を受けたら関連しそうな資料を引き、その資料を材料として答えを作ります。ここまでを1回で終える形が固定の方式です。エージェント型は、この1回きりの流れを、途中で判断が入る手順に組み替えたものを指します。足されているのは大きく4つです。

1. 問いの言い換え：受け取った質問をそのまま検索語にせず、資料側の言葉に寄せて書き換える。必要なら小さな問いに割る
2. 複数回の検索：1回目で引いた内容を読んだうえで、2回目の検索語を決める。前の結果が次の検索を決める
3. 引いた結果の自己点検：集まった資料で答えが作れるかを機械の側に判定させる
4. 足りなければ引き直す判断：作れないと判定されたら、語を変えて引き直すか、別の引き方に切り替える

大事なのは、この4つがそれぞれ独立した部品であることです。全部を入れないと動かないわけではなく、1つだけ足す構成もあり得ます。実際、後で見る検証では部品ごとに効き方がまるで違い、外しても精度がほとんど落ちない部品と、外すと明確に落ちる部品が分かれました。「エージェント型にする」という一括の決定ではなく、どの部品を足すかの選択として扱うほうが現実的です。

もう1つ押さえておきたいのは、判断を機械に任せる箇所が増えるという点です。言い換えるかどうか、もう一度引くかどうか、答えられると見なすかどうか。この判定が外れると、外れたまま次の手が打たれます。だからこそ、後述する上限と記録が仕組みの一部として必要になります。

1回引く方式との差は、実測でどれくらいあるのか

2026年6月に公表された検証は、部品を1つずつ外して効き方を測る形で組まれています。題材は複数の資料をまたいで答える問題集の5,000問、モデルはパラメータ70億級の公開モデル1つを手元に置いた条件です。結果は、全部を組み合わせた方式が完全一致53.2%・部分一致を含む一致度61.6%、1巡だけの方式が完全一致43.1%・一致度54.0%でした。差は完全一致で10.1ポイント、一致度で7.6ポイントです。

別の検証（2026年3月公表）では、検索の回数の上限だけを変えて測っています。多段の問題集で、パラメータ140億級のモデルに検索を1回しか許さない場合は26.82%、回数の上限を外した場合は75.33%という結果になりました。48ポイントの差です。問いの型が「1回では届かない」ものに寄っているとき、回数を許すこと自体が効くことがはっきり見えます。

ただし、同じ6月の検証の中には見落とせない数字もあります。引き方を語の一致と意味の両方で引く方式に固定しただけの変種が、完全一致55.0%と、全部入りの53.2%を1.8ポイント上回りました。統計的にも差があると報告されています。部品を増やすほど良くなるという関係ではなく、増やした部品が邪魔をする組み合わせも実在します。

この3つの数字を並べると、判断の材料が見えてきます。問いが多段なら回数を許す価値は大きい。しかし部品を全部足すのが最善とは限らない。社内で試すときは、全部入りを1つ作って満足するのではなく、部品を外した構成も同じ問題で測る。この比較ができる形にしておくことが、後の判断を軽くします。

引き直しは2回で頭打ちになる

回数を許すと効く、と分かった次に決めるのは何回まで許すかです。ここは2つの独立した検証が近い結論を出しています。6月の検証では、引き直しの深さだけを変えて測っています。1回で止めた場合が完全一致46.1%、2回まで許した場合が52.9%、3回まで許した場合が53.2%でした。

著者はこの結果を、2回の引き直しで5回分の伸びの95%が得られるとまとめています。1回で止めると全部入りに対して7.1ポイント落ちますが、2回まで許せば差は0.3ポイントに縮みます。3月の検証も同じ方向で、検索の回数は3回程度までは精度が伸び、その後は平坦になると報告しています。

つまり上限を3回に置くのが、実測から見た現実的な既定値です。ここを「念のため10回」にしても精度は上がらず、待ち時間と費用だけが増えます。上限は安全のために大きくしておく値ではなく、伸びが止まる地点に合わせて小さく置く値です。

運用に落とすときは、上限に達したときの動きも一緒に決めます。3回引いても答えが作れなかった場合に、無理に答えを出させるのか、分からないと返させるのか、担当者に回すのか。ここを決めていないと、上限は「間違った答えを出す合図」になります。回数の上限と、上限に達した後の出口は、必ず対で決めてください。

代償その1：待ち時間が約10倍になる

引き直しは無料ではありません。6月の検証は待ち時間も測っており、1巡だけの方式が平均546ミリ秒、全部を組み合わせた方式が平均5,642ミリ秒でした。約10倍です。社内の問い合わせに答えさせる用途なら、0.5秒台と5.6秒台の違いは、使われるかどうかを分ける差になります。

内訳も報告されています。問いの分解を外すと待ち時間は5,642ミリ秒から2,546ミリ秒まで下がり、完全一致は1.4ポイント落ちるという結果です。つまり、待ち時間の半分以上は問いを分解する処理が占めていました。一方で、並べ替えの処理を外しても待ち時間はほとんど変わらず、精度は1.7ポイント落ちました。

この2つを並べると、削る順番が決まります。待ち時間を削りたいなら分解から、精度を守りたいなら並べ替えを残す。「重い部品」と「効く部品」は一致しません。どちらを取るかは、用途ごとに違います。窓口の担当者が客を待たせながら使う画面なら秒数を優先し、夜間にまとめて処理する用途なら精度を優先する、という分け方になります。

実務では、利用者が待てる秒数を先に決めてから仕組みを組む順番をおすすめします。後から「速くしてほしい」と言われて部品を外すと、精度が落ちた理由が誰にも分からなくなります。秒数の目標を先に置けば、その枠の中で入れられる部品が自動的に絞られます。

代償その2：費用は引いた回数の分だけ増える

2つ目の代償は費用です。引き直しが増えれば、検索の回数だけでなく、引いた資料を読み込む語数も増えます。1つの問いに3回引く構成は、単純に見て読み込む語数が3倍前後になります。1日の問い合わせ件数が少ないうちは気になりませんが、全社に配ると効いてきます。

答えの長さの枠についても、3月の検証が測っています。答えに使える語数の枠を500から16,000まで広げたとき、複数の資料をまとめ直す必要がある問いでは効いたが、1か所に答えが書かれている問いではほとんど変わらなかったという結果です。枠を一律に広げるのは、費用だけ増えて効かない場合があるということです。

ここから出てくる設計は、問いの型ごとに枠を変える形です。定型の問い合わせには回数1回・短い枠、資料をまたぐ問いには回数3回・長い枠、というように分けます。振り分けの判定を機械に任せる構成もあり得ますが、その判定が外れると重い側に流れて費用が膨らみます。最初は利用者が選ぶ形（急ぎか、詳しくか）にしておくのが安全です。

費用の測り方も決めておきます。見るのは月額の合計だけでなく、1件の問い合わせあたりの語数と回数です。合計だけを見ていると、件数が増えたのか1件が重くなったのかが分かりません。1件あたりで見ていれば、引き直しが暴れ始めた日にすぐ気づけます。

代償その3：止まらないときに何で打ち切るか

3つ目の代償が、止まらない場合の扱いです。引き直しの判断を機械に任せると、答えが作れないと判定され続けて、同じような検索を繰り返す状態が起きます。資料の側に答えが存在しない問いを投げられたときに、特に起きやすい形です。上限を置いていないと、この状態は費用と待ち時間の両方を食い潰します。

打ち切りの条件は、回数だけでは足りません。同じ回数でも1回の引きが重ければ費用は伸びますし、回数に達する前に利用者が離れることもあります。回数・語数・待ち時間の3つで枠を置き、どれかに当たったら止めるという形にします。加えて「進んでいない」ことの合図も必要です。

決めること	置く値の例	当たったときの動き
引き直しの回数	1つの問いに3回まで	そこまでに集まった資料だけで答える
読み込む語数	1つの問いで扱う語数に枠を置く	枠に達したら打ち切って途中までを返す
待ち時間	利用者が待てる秒数を先に決める	間に合わない場合は担当者に回す
同じ検索の繰り返し	似た検索語で2回続いたら止める	言い換えができない状態として扱う
答えが作れない場合	分からないと返す形をあらかじめ用意する	問いと引いた履歴を添えて人に渡す

表の最後の行が抜けやすいところです。分からないと返す出口を用意していない仕組みは、必ずどこかで作り話を返します。打ち切りの条件を決める作業は、精度を上げる作業ではなく、間違った答えが出る経路を閉じる作業だと考えてください。

固定の方式で足りる問いを、先に見分ける

ここまで読むと「では全部エージェント型にすべきか」と思われるかもしれませんが、逆です。2026年4月に公表された比較では、一般的な問い（答えが1か所に書かれている問い）では、手の込んだ方式を足しても平均0.47ポイントしか変わりませんでした。同じ比較で、多段の問いでは平均27.23ポイントの差が出ています。

この2つの数字の開きが、判断の線です。問いが1か所で片づくなら、仕組みを重くしても伸びる余地がほとんどありません。逆に多段の問いが多い領域では、仕組みの差がそのまま結果の差になります。だから最初にやるのは仕組みの選定ではなく、自社の問い合わせがどちらに寄っているかを数えることです。

• 過去3か月の問い合わせから100件を抜き、1か所で答えられるものと、2か所以上を見ないと答えられないものに分ける
• 2か所以上が2割未満なら、固定の方式のまま引き方の改善に投資する
• 2か所以上が半分を超えるなら、回数を許す構成を検討する価値がある
• 数え上げと版の見分けが混ざっているなら、そこだけ別の窓口に切り出すことも選択肢にする

この振り分けは1時間ほどの作業ですが、やらずに始めると効かない場所に重い仕組みを置くことになります。「他社が入れているから」で決めた構成は、待ち時間と費用だけが増えて精度が変わらない、という結果になりがちです。数えるのは面倒ですが、後の説明が楽になります。

3つの引き方を並べて比べる

実務で候補に挙がるのは、大きく3つです。1回引いて答える固定の方式、途中で判断を挟むエージェント型、そして資料の関係を先に図にしておいてから引く方式です。それぞれ向く問いと代償が違うため、並べて見るのが早いです。数字は本文で触れた各検証の実測値です。

観点	1回引いて答える	エージェント型	関係を先に図にしておく
向く問い	答えが1か所に書かれている	資料をまたぐ、条件で分岐する	関係をたどる必要がある
多段の問いでの実測	完全一致43.1%（基準）	完全一致53.2%	平均27.23ポイント上（別の比較）
一般的な問いでの実測	基準	伸びは限定的	平均0.47ポイントの差
待ち時間	平均546ミリ秒	平均5,642ミリ秒	引く時は速いが作り込みが要る
事前の費用	ほぼ不要	不要	100万語あたり1.72時間・13.19ドルの例
向かない場面	数え上げ、版の見分け	件数の多い定型の問い合わせ	資料の入れ替わりが激しい領域

表で見ると、選び方は問いの型と、事前に払える手間で決まることが分かります。関係を図にする方式は引く時の動きが軽い代わりに、作り込みの費用が先に出ます。エージェント型は事前の費用が要らない代わりに、引くたびに費用と時間がかかります。先払いか後払いかの違いとして見ると、社内の説明がしやすくなります。

関係を図にしてから引く方式との使い分け

関係を先に図にしておく方式は、資料の中の人物・部署・制度・日付などを取り出して、つながりの形で持っておく作りです。多段の問いに強いのは、たどる経路が最初から用意されているからです。4月の比較では、多段の問いで平均27.23ポイントの差という大きな数字が出ています。

ただし、その差は事前の作り込みを済ませた後の話です。同じ比較には作り込みの費用も載っており、100万語あたりで1.72時間・13.19ドルという例から、0.68時間・0ドルという軽い作りの例まで幅があります。社内の資料が毎月入れ替わる領域では、この作り込みを毎月やり直すことになります。

同じ比較でもう1つ重要なのは、エージェント型の検索を足すと、この差が縮むという結果です。多段の問いでの差は27.23ポイントから26.59ポイントに、2番目に良い変種に対しては32.3%縮んだと報告されています。つまり、図を作り込む代わりに引き方で追いつける余地があるということです。

実務の判断としては、資料の入れ替わりが激しいならエージェント型、関係が安定していて何度も同じ経路をたどるなら図を作る方式、という分け方が現実的です。両方を同時に始めるのは、どちらが効いたのか分からなくなるのでおすすめしません。片方を先に試して、届かない問いが残ったら足すという順番にします。

自己点検は「合っていることの確認」ではない

エージェント型の中で最も誤解されやすい部品が、自己点検です。集まった資料で答えが作れるかを機械の側に判定させる仕組みですが、これは答えが正しいことの確認ではありません。判定しているのは「材料がそろっているように見えるか」であって、内容の真偽ではありません。

2026年6月に公表された別の検証は、自己点検を組み込んだ構成を2つの題材で測り、自己点検は出典の正確さを上げるが、待ち時間の代償が大きいと報告しています。出典の正確さが上がるのは実用的な価値ですが、それは「引いた資料と答えの対応が良くなる」という意味であって、引いた資料そのものが正しいかは別の問題です。

だからこの記事では、次の3つを設計の前提として置くことをおすすめします。AIに判断させない範囲を先に決める。根拠を必ず書かせる。人が確認する範囲を運用の一部として決める。自己点検を入れたから人の確認を減らせる、という順序で考えると、確認の抜けた経路ができます。

• 自己点検が通ったことは、答えが正しいことの証明にはならない（判定しているのは材料のそろい具合）
• 金額・期限・宛先・可否の判断が含まれる答えは、自己点検の結果によらず人が見る対象にする
• 根拠として示す資料は、文書名だけでなく、どの箇所を見たかまで出させる
• 確認する人が見る材料（問い、引いた資料、引いた回数、答え）を1画面にそろえておく

確認の範囲を決めるときの目安は、間違った答えのまま進むと取り返しがつかない用途です。社内の場所を尋ねる問いなら間違っても直せますが、契約の可否や締切の日付は直せません。取り返しのつく問いは機械の答えをそのまま使い、つかない問いは人の目を通す。この線引きを、仕組みを作る前に文章にしておきます。

問いの分解が裏目に出る場面

問いを小さく割って引く処理は、多段の問いに効く定番の手として紹介されがちですが、実測は一枚岩ではありません。2026年6月に公表された比較では、多段の問題集で問いの分解が順位の精度を下げたと報告されています。割った小さな問いが、元の問いとずれた資料を上位に呼んでしまう形です。

同じ比較のもう1つの題材では、専門用語の多い社内知識ベースを使い、総合スコアで0.04、正解が上位に来る度合いの指標で0.17という小さな伸びにとどまりました。効かなかったわけではありませんが、待ち時間の増加と釣り合うかは別の判断になります。領域によって効き方が違う、という結果として読むのが正確です。

なぜ裏目に出るのかは、社内の資料を思い出すと想像がつきます。社内の言葉は一般的な言葉と対応していないことが多いからです。制度の通称、部署の略称、様式の番号。これらを含む問いを一般的な言葉に割ると、割った結果が資料の言葉から離れていきます。

対処は2つあります。1つは、分解する前に社内の言葉の対応表を持たせること。もう1つは、分解した問いで引いた結果と、分解せずに引いた結果の両方を材料にすることです。どちらも手間は増えますが、分解を無条件に信用するより結果が安定します。試すときは、分解あり・分解なしの両方を同じ問題で測ってください。

エージェント型より先に効く、地味な改善

最後に、順番の話をします。3月の検証で最も大きな伸びを出したのは、判断を挟む仕組みではなく引き方そのものの改善でした。語の一致と意味の両方で引いて、軽い並べ替えを足す構成が、多段の問題集で9.29ポイントの伸びを記録しています。混ぜて引くだけでも6.36ポイントです。

6月の検証も同じ方向を示しています。並べ替えを外すと完全一致が1.7ポイント落ち、しかも待ち時間はほとんど変わりませんでした。つまり並べ替えは、安くて効く部品です。さらに、引き方を混ぜる方式に固定した変種が全部入りを1.8ポイント上回った、という結果もありました。

この3つを並べると、順番が見えます。引き方を混ぜる、並べ替えを足す、ここまでやってから回数を許す。この順番を守ると、費用の安い改善で取れる分を先に取れます。逆にすると、重い仕組みを入れた後で「引き方が悪かっただけだった」と分かることになります。

• 届かない問いを数えずに、他社事例だけを見て重い構成から始める
• 引き方の改善を飛ばして、回数を許す仕組みを最初に入れる
• 上限を「念のため10回」に置いて、伸びない回数分の費用を払い続ける
• 自己点検を入れたことを理由に、人が確認する範囲を減らす
• 分からないと返す出口を用意せず、必ず何かを答えさせる

社内で試すときの5工程

ここまでの内容を、着手できる形に並べます。前提は、すでに固定の方式で資料を引かせる仕組みが動いていることです。まだ何もない状態なら、まず固定の方式を1つ作り、答えられない問いを集めるところから始めます。

この5工程は、順番に意味があります。3工程目を飛ばすと、4工程目で入れた仕組みの効果が測れません。5工程目を後回しにすると、間違いに気づく経路がないまま利用が広がります。工程を入れ替えたくなったときは、その理由を記録に残すようにしてください。後から見直すときの材料になります。

残す記録と、確認の当番の決め方

運用に入ってから効いてくるのが記録です。エージェント型は途中で判断が入るため、結果だけを見ても何が起きたか分かりません。同じ問いに同じ答えが返らないこともあります。何を残すかは、後から原因をたどれるかどうかで決めます。

• 受け取った問いの文面（言い換える前のもの）
• 実際に引いた検索語と、引き直した回数
• 引いた資料の名前と、参照した箇所
• 自己点検の判定と、その判定で次に何をしたか
• 上限に当たって打ち切ったかどうか
• 答えを返すまでにかかった秒数と、扱った語数

この6項目があれば、「答えが変わった」「遅くなった」「費用が増えた」のどれについても、原因の当たりを付けられます。逆に問いと答えだけを残す形では、引き直しが増えたのか資料が変わったのかが分かりません。記録は不具合が出てから足せないため、最初から入れておきます。

確認の当番も決めます。全部の答えを人が見るのは現実的ではないので、取り返しがつかない用途の問いだけを対象に、週の当番を回す形が現実的です。当番の仕事は答えの正しさの判定ではなく、記録を見て「おかしな動きが増えていないか」を見ることにします。引き直しの回数が急に増えた、打ち切りが増えた、といった変化は、資料の側で何かが起きた合図です。

月に一度は、答えられなかった問いを見直します。上限に当たって打ち切られた問いが積み上がっていれば、資料の側に答えが無い可能性があります。仕組みを直すのではなく資料を足すという判断が必要な場面は、記録を見ないと気づけません。

よくある質問

固定の方式を捨てて、全部をエージェント型にしたほうが速いのでは

実測では逆の結果が出ています。一般的な問いでは手の込んだ方式を足しても平均0.47ポイントしか変わらず、待ち時間は約10倍になります。問い合わせの多くが定型なら、固定の方式のまま引き方を改善するほうが費用対効果が高いという判断になります。両方を残して、問いの型で振り分ける構成も現実的です。

引き直しの上限は、いくつに置けばよいですか

実測を根拠にすると3回が出発点です。2回で伸びの大半が取れ、3回で平坦になるという結果が2つの検証から出ています。ただし社内の資料の作りによって変わるため、3回で始めて、打ち切られた問いが多ければ資料の側を見直す、という運用にしてください。上限を増やす前に資料を疑うのが順番です。

答えが遅いと現場から言われました。何から削りますか

実測では、待ち時間の半分以上を問いの分解が占めていました。分解を外すと待ち時間は半分以下になり、精度は1.4ポイント落ちます。一方、並べ替えを外しても待ち時間はほとんど変わらず精度は1.7ポイント落ちます。削る順番は分解から、並べ替えは残すのが実測に沿った判断です。

自己点検を入れれば、人の確認は減らせますか

減らせません。自己点検が判定しているのは材料のそろい具合で、内容の正しさではありません。金額・期限・可否のように取り返しがつかない答えは、自己点検の結果によらず人が見る対象に残します。減らせるのは、間違っても直せる用途の確認だけです。

社内の資料が毎月入れ替わります。どの方式が向きますか

関係を先に図にしておく方式は、作り込みを毎月やり直すことになります。100万語あたり1.72時間・13.19ドルという例が報告されており、更新の頻度が高い領域では負担が重くなります。入れ替わりが激しいなら、事前の作り込みが要らないエージェント型から試すのが現実的です。

まとめ

エージェント型のRAGは、賢いAIを使う話ではなく、引く回数と引き直す判断を仕組みに入れる話です。実測では、複数の資料をまたぐ問いで完全一致が43.1%から53.2%に伸びました。一方で待ち時間は546ミリ秒から5,642ミリ秒へ、約10倍になります。伸びは2回の引き直しで大半が取れ、3回で平坦になります。だから上限は小さく置き、上限に当たったときの出口を先に決めます。そして、一般的な問いでは手の込んだ方式を足しても平均0.47ポイントしか変わりません。まず届かなかった問いを4つの型に振り分け、引き方を混ぜて並べ替えを足すという安い改善を済ませ、それでも残る問いに対してだけ回数を許す。自己点検は正しさの証明ではないので、根拠を書かせ、取り返しがつかない答えは人が確認する範囲に残す。この順番を守ることが、費用と時間を無駄にしない一番の近道です。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。