RAGで社内資料からAIに答えさせる方法｜壊れる7つの型と直し方

「資料は社内にそろっているのに、聞かれるたびに探し回っている」「試しにAIへ社内資料を読ませてみたが、当たり外れが大きくて業務には使えない」——社内の資料をAIに任せようとした部門から、この2つはほぼ同じ順番で届きます。当たらない原因は、AIの賢さや指示文の書き方ではありません。当たるか外れるかは、答えを作らせる前の「探す」工程でほとんど決まっています。実際、断片の区切り方と探し方を変えるだけで、上位20件のなかに正解の資料が入らない割合が5.7%から1.9%まで下がったという測定が公開されています。同じモデル、同じ資料でこの差です。この記事では、社内資料を根拠に答えさせる仕組みの中身を工程に分け、精度が出ない原因を7つの型に整理し、どこから直すかを順に見ていきます。

「資料はあるのに、答えが出てこない」から始まる

具体的な場面から入ります。あるマーケ部門には、販売代理店からの問い合わせが週に十数件届きます。内容はほとんど同じで、「この業種向けの導入事例で、社名を出してよいものはどれか」「先月改定した料金の考え方はどれが最新か」。答えは共有フォルダにある8年分の資料の中にあります。資料が足りないのではなく、どこにあるかを知っている人が2人しかいないのが問題でした。

そこで対話型のAIに資料を読ませる仕組みを組みました。動き始めた直後の評判は上々です。ところが2週間ほどで、返ってくる答えに紛れが混じり始めます。3回のうち1回は、別の業種の事例を根拠として出してくる。掲載の許諾が取れていない事例を、堂々と「掲載可」と答えてくる。いちばん困るのは、間違っているのに答えの文章としては整っている場合です。

この段階で担当者がまずやることは、たいてい指示文の書き直しです。しかし同じ指示文で3回のうち2回は当たっているのですから、成否を分けた原因は指示文の外にあります。直すべき場所を特定せずに書き直すと、当たる回まで壊れます。原因を工程に割り当てるところから始める必要があります。

資料を丸ごと渡す方式は、どこで破れるか

そもそも探す工程を作らず、資料を全部まとめてAIに渡してしまえばよいのではないか。この疑問は正しく、規模が小さいうちは正解です。公開されている実務的な目安では、資料の総量が20万トークン、日本語の分量でおおよそ500ページ分より小さいなら、検索の仕組みを組まずに丸ごと渡してよいとされています。数十件の規程や手順書を扱うだけなら、ここで話が終わります。

破れるのは、量が増えたときと、正解が真ん中にあるときです。長い入力を扱えるモデルであっても、必要な記述が入力の中ほどに置かれていると、先頭や末尾に置かれた場合よりも取り出せる確率が明確に落ちるという性質が2023年に報告されています。長文脈に対応したと明記されているモデルでも同じ傾向が出ました。つまり、全部渡せば全部読んでもらえるわけではありません。

費用と時間の側面もあります。毎回すべての資料を渡せば、質問1件あたりの分量は資料の総量に比例して増え、待ち時間も伸びます。8年分の提案書と議事録を毎回添えるのは、紙で言えば書庫を丸ごと相手の机に積む行為です。探す工程を挟むのは、賢くするためではなく、渡す量を必要な数枚に絞るためです。

仕組みを4工程に分けると、直す場所が決まる

検索してから答えさせる方式は、ひとまとまりの機能ではなく4つの工程の連なりです。実務で原因を切り分けるには、この4分割を関係者の共通語にしておくのが早い。それぞれ落ち方が違い、担当する人も違います。

1. 取り込み：置き場所から資料を読み取り、文字にする。ここで表や図が崩れる
2. 区切りと索引付け：資料を検索できる大きさの断片に割り、探すための索引を作る
3. 検索：質問に対して、関係しそうな断片を候補として拾い、順位を付ける
4. 生成：上位の断片だけを根拠として渡し、答えの文章を組み立てさせる

4工程のうち、精度の大半は2番目と3番目で決まります。生成の工程は、渡された断片の外にあることは答えられません。逆に言えば、根拠の欄に見当違いの資料が並んでいるなら、指示文をどう直しても答えは良くなりません。答えを疑ったときに最初に開くのは、答えの本文ではなく根拠の一覧です。

工程で分けると、誰に頼むかも見えてきます。取り込みは資料の置き場所を管理している部門、区切りと索引付けは仕組みを作った側、検索の当たり方は業務を知っている担当、生成の指示は使う本人。この4つを1人の担当に押し付けている状態が、いちばん長く直らない形です。

区切りの粒度が、精度の半分を決める

断片の大きさは、実務では数百トークン以下、日本語なら数百字を目安に置きます。大きすぎると1件の断片に無関係な話題が混ざり、質問との近さがぼやけます。小さすぎると、条件と結論が別々の断片に分かれ、片方だけが渡ります。「新規は3か月無償」という条件と、その対象範囲が別の断片になれば、対象外の顧客にも無償と答える答えが出ます。

効き目が確かめられている手当てが1つあります。断片を索引に入れる前に、その断片が資料全体のどこの話かを1文か2文で足しておく方法です。公開された測定では、この一手で上位20件に正解が入らない割合が5.7%から3.7%へ、約35%減りました。足す説明は断片あたり50語から100語ほど、資料100万トークンあたり1.02ドルの一回限りの費用と示されています。断片の側に「これは2024年度の代理店向け料金表の一部」と書いておくだけで、探せる確率が上がるという話です。

社内資料では、区切りを機械的な文字数に任せないほうが結果が良くなります。見出しの単位で切る、箇条書きは項目ごとに切らない、表は行ごとに切って毎行に列名を付け直す。手間はかかりますが、ここでの作業は一度やれば効き続けるので、投じた時間あたりの効果が最も大きい工程です。

• 断片には、資料名・章や見出し・いつ時点のものかを必ず付けて入れる
• 条件と例外は同じ断片に入れる。分かれた瞬間に誤答の種になる
• 箇条書きの途中で切らない。項目の途中で切れた断片は、意味が反転することがある
• 同じ内容が複数の資料にある場合は、正本をどれにするかを先に決める
• 断片の大きさは1つに固定せず、規程類は小さめ、議事録は大きめに分ける

意味の近さだけで探すと、型番と番号を外す

検索の工程は、質問と断片の意味の近さで拾うのが基本です。ただし意味の近さは、文字列がぴったり一致することを保証しません。品番、案件番号、契約の条項番号、社内でしか通じない略称。こうした固有の文字列は、意味で探すと似ているだけの別物を拾います。「A-2200の見積」と聞いて「A-2100の見積」を根拠に返す事故は、この性質から生まれます。

手当ては併用です。語の一致を見る従来型の検索を同時に走らせ、両方の結果を混ぜてから順位を付け直す。先ほどと同じ測定では、意味で探す方式に語の一致を見る検索を足した時点で失敗率が5.7%から2.9%へ、さらに上位候補を並べ替える工程を足すと1.9%まで下がりました。もとの5.7%から見て67%の削減です。

運用側で押さえるべきは、拾う件数の設計です。同じ測定では5件、10件、20件で比べ、20件を渡した場合が最も良い結果でした。少なく絞れば無関係な資料は減りますが、正解ごと落ちます。多めに拾って並べ替えで絞るほうが、最初から絞り込むより当たります。渡す件数を増やせない事情があるなら、並べ替えの工程を先に足すのが順番として合っています。

精度が出ない7つの型

原因の切り分けには、既存の整理を借りるのが早い。研究・教育・生物医学の3領域で実際に構築した事例から、この方式でつまずく箇所を7つに整理した報告が2024年1月に公開されています。7つのうち3つは探す側、4つは渡した後の側で起きます。現場で見える症状と打ち手を並べます。

失敗の型	現場での見え方	最初に打つ手
資料に答えが無い	それらしい答えが返るが、根拠の欄が薄い	答えられない旨を返す設計にする
あるのに上位に入らない	資料名で探せば出るのに、質問では出ない	語の一致を見る検索を併用する
絞る過程で落ちる	候補には入っていたが根拠に残っていない	拾う件数を増やし、並べ替えを足す
渡っているのに抜き出せない	根拠は正しいが、答えが的を外す	断片を小さくし、指示を1問1答に割る
指示した形式で返らない	表で欲しいのに文章で返る	出力の形を例示で見せる
細かすぎる・大まかすぎる	一般論だけ、または枝葉だけが返る	質問の粒度を型として用意する
分かる範囲を答えきらない	3件あるはずが1件しか出ない	件数を明示させ、網羅の確認を入れる

この整理には、実務にそのまま効く2つの結論が添えられています。1つは、この種の仕組みの妥当性は動かしながらしか検証できないということ。もう1つは、頑健さは最初の設計で作り込むものではなく、運用の中で育つものだということです。導入前に完璧な設計を目指す時間の使い方が、そもそも噛み合っていないという指摘です。

裏を返せば、動かしてから直す前提の体制を用意していない導入は、精度が上がる余地を持たないまま終わります。仕組みを入れる予算だけを確保し、直す工数を確保していない計画が、いちばん多い失敗の形です。

探せていない側の3つを、どう見分けるか

探す側の失敗は3つです。資料に書かれていない、あるのに上位に入らない、候補には入ったが渡す前に落ちた。区別の方法は単純で、資料名を直接指定して同じ質問をぶつけてみることです。指定すれば正しく答えられるなら、資料はあり、探せていないだけです。

いちばん多く、いちばん軽く見られているのが1つ目です。冒頭の代理店対応の例でいえば、「掲載の許諾範囲」は事例資料の中に書かれていませんでした。許諾は別の管理表にあり、そこは取り込み対象に入っていなかった。書かれていないことは、どんなに探し方を工夫しても出てきません。この場合の打ち手は仕組みの側ではなく、資料を1枚作ることです。

見つからないときの振る舞いは、必ず先に決めます。根拠が無いときに推測で埋めるのではなく、該当する記載が見つからないと返す。この設計を入れておくと、「答えが出てこない質問の一覧」が資料を足すべき領域の地図になります。答えられないことを答えられると分かる状態は、実務では正確な答えと同じくらい価値があります。

渡っているのに使えていない側の4つ

根拠は正しく渡っているのに答えが使えない、という型が4つあります。抜き出せない、形式が違う、粒度が合わない、答えきらない。共通するのは、根拠の一覧を見ただけでは異常が分からないことです。根拠は合っているので、探す側を疑っても何も見つかりません。

実務でとくに損が出るのは「答えきらない」型です。該当する事例が3件あるのに1件だけ答える。過去の値引きの前例が5件あるのに2件で止まる。件数の抜けは、答えを読む側からは絶対に見えません。対策は、答えの中に該当件数を先に言わせ、その件数分を並べさせる形にすることです。合わなければ、その場で分かります。

粒度が合わない型は、質問の側を型にすることで減ります。「教えてほしい」ではなく「この3項目を、資料名を添えて1行ずつ」。使う人ごとに自由に聞かせている間は、この型は減りません。よく来る質問の上位10件について、聞き方の見本を用意して配ってしまうほうが早いです。

正しく探しても間違える2つの理由

探せている、渡せている、抜き出せている。それでも答えが間違う理由が2つあります。1つは古い版が残っていること、もう1つは表や図が崩れて取り込まれていることです。どちらも仕組みの上では正常に動いているように見えるため、発覚が遅れます。

古い版の問題は時間差でやってきます。導入直後は当たっていたのに、半年経つと古い料金や廃止された条件が混ざり始める。原因は2つで、置き場所に旧版が残っていること、そして資料が改訂されたのに索引が作り直されていないことです。改訂の頻度が高い資料は、索引の作り直しの頻度も別に設定します。月に一度まとめて回す設定のままだと、値上げの発表から反映までの数週間、古い金額を答え続けます。

表と図はもっと厄介です。行と列の対応が崩れると、別の行の数字が同じ行の項目にくっつきます。崩れた表は、間違った数字を自信のある文章で答えます。対策は、表を含む資料は行ごとに切って毎行に列名を付け直すこと。図の中の文字は取り込めないと割り切り、図の内容を文章で1段落書き添えるほうが確実です。数値を扱う資料は、取り込んだ後の状態を人が一度見て確かめる工程を挟みます。

権限の違う資料が混ざると、答えが人によって変わる

社内資料を扱う以上、誰がどの資料を見てよいかを仕組みに反映させる必要があります。ここで実務が混乱するのは、権限を入れると同じ質問に対して人によって違う答えが返るのが正常な状態になる点です。営業には答えられて、業務委託の担当には答えられない。これは不具合ではありません。

設計の要点は2つあります。第1に、権限は取り込んだ時点で固定せず、質問が来るたびに評価する形にすること。異動や退職のたびにずれる仕組みは、半年で信用を失います。第2に、見えない資料は「無い」ではなく「答えられない」と返すこと。存在すら伏せるべき場合もあるので、どちらの振る舞いにするかは資料の種類ごとに決めます。

測るときにも影響します。権限つきで動く仕組みの精度は、誰の権限で試したかを添えないと数字の意味がありません。管理職の権限で95点だった仕組みが、一般の権限では60点ということが普通に起こります。評価は、実際に使う層の権限で行います。権限の判断そのものをAIに任せる設計にはしません。ここは人が決めた設定を機械的に適用する場所です。

質問の言葉と資料の言葉が違う

社内資料は正式名称で書かれ、質問は日常の言い方で来ます。「有給」と「年次有給休暇」、「代理店」と「販売パートナー」、「見積」と「御見積書」。この食い違いは、意味で探す方式でもかなりの割合で外れます。とくに社内でしか通じない略称は、外の言葉で学んだ仕組みからすると、まったく別の意味に見えていることがあります。

対処は、言い換えの対応表を作ることです。ここで大事なのは、机の上で作らないこと。実際に来た質問の文言をそのまま集め、当たらなかったものだけを見ると、対応表に入れるべき語は30語ほどに収まります。想像で作った200語の表より、実測の30語のほうが効きます。

集め方は難しくありません。質問の文言と、根拠として返した資料名、そして使えたかどうかの1文字だけを記録します。週に一度、使えなかった行を並べて眺めれば、言葉のずれと資料の不足が分離して見えてきます。この記録は、後で測るときの土台にもなります。

出典は、付けるだけでは足りない

出典を返す設計は、この方式の最大の利点です。ただし実務では、出典が付いていることと、その出典が本当に根拠になっていることは別だと知っておく必要があります。資料名は正しいのに、その資料に書かれていない内容を答えているという状態が起こります。人は資料名が付いているだけで信用してしまうので、かえって危険です。

防ぎ方は、根拠として使った箇所の原文を、要約せずにそのまま添えさせることです。要約させると、その要約の段階で外れます。原文が添えられていれば、答えと原文を読み比べるだけで、書かれていないことを言っていないかが数秒で分かります。社外に出す資料の下敷きにする場合は、この照合を必ず人が行います。

確認する範囲を先に決めておくことも欠かせません。全文を照合すると決めるのは、決めていないのとほぼ同じです。社名と人名、金額と数量、日付と版数の3種類だけを原文と照らすと決めてしまえば、作った本人でなくても確認できます。この3つ以外は照らさないと決めることが、確認を続けられる条件になります。

良し悪しの測り方を、先に決める

直す前に測ります。測らずに手を入れると、良くなったのか悪くなったのかが分からないまま設定が増えていきます。参照する正解を用意しなくても測れる枠組みが2023年に提案されており、そこでは探せているか、根拠から外れていないか、答えとして使えるかの3つの面に分けて見ます。この3分割は、そのまま社内の評価表に使えます。

この5工程を月に一度回すと、変えた設定と数字の動きが対応づけられます。50件の質問と、3つの数字。これだけで、当てずっぽうの改修はほとんど無くなります。逆に、この土台を持たないまま断片の大きさや探し方を変え続ける運用は、良くなった実感だけが積み上がります。

どこまで自前で作るか

自前で作るか、既存の機能を使うかは、資料の置き場所と、出典の出し方をどこまで細かく決めたいかで分かれます。判断を早める問いは3つです。対象の資料が1つの置き場所に集まっているか。権限の設定を作り直せるか。そして、動かした後に直し続ける担当を置けるか。3つ目に答えられないなら、自前で作る選択は取らないほうがよいです。

先ほど触れたように、この方式の妥当性は動かしながらしか検証できません。つまり、作った時点が完成ではなく開始点です。既存の機能を使えば、区切り方や探し方の細かい調整はできない代わりに、直し続ける工数を自社で持たなくて済みます。ここは機能の優劣ではなく、体制の話として比べます。

段階を踏むなら、順番は決まっています。まず資料が集まっている置き場所の付属機能で試し、実際に来る質問を50件集める。次にその50件で測り、当たらない型を特定する。型が特定できてから、その型に効く工程だけを自前に寄せる。最初から全部を自前で組むと、どこが効いたのか永久に分からなくなります。

誰が資料を手入れするかを決める

この方式は、資料の状態がそのまま答えの質になります。したがって仕組みを入れる話と、資料を手入れする担当を決める話は同時に進める必要があります。手入れの仕事は3つに分かれ、それぞれ向いている人が違います。

• 正本を決める人：同じ内容の資料が複数あるとき、どれを根拠にするかを決める。業務の責任者
• 取り込み範囲を決める人：どの置き場所を対象にし、どこを除くかを決める。情報システムの担当
• 答えられなかった質問を見る人：週に一度、根拠が見つからなかった質問を見て資料を足す。業務の担当
• 索引の作り直しを回す人：改訂の多い資料の反映頻度を決め、実行を確認する。仕組みの担当
• 評価を回す人：月に一度50件で測り、数字を関係者に配る。旗振り役

うまくいかない運用には共通の形があります。実際によく見かけるものを並べます。どれも仕組みの不具合ではなく、決めていないことが原因です。

• 導入の予算だけを取り、直す工数を取っていない：3か月で当たらなくなり、使われなくなる
• 答えられなかった質問を捨てている：資料を足すべき領域の地図を、毎週捨てていることになる
• 指示文の改善だけで精度を上げようとする：根拠が違っている場合、指示文では直らない
• 索引の作り直しを人の気づきに任せている：改訂の反映漏れは、必ず値上げや条件変更の直後に出る
• 管理職の権限だけで評価している：実際に使う層の権限では、まったく違う数字が出る
• 出典を付けたことで確認を省いている：資料名が正しくても、書かれていない内容を答えることがある

最後の項目は、導入が成功した現場でこそ起きます。出典が付く安心感で照合が形だけになり、半年後に社外へ出した資料の数字が違っていた、という順序をたどります。確認する3種類を紙に書いて貼っておくだけで、この経路はふさげます。

よくある質問

小さく始めるなら、何件の資料から試せばよいですか

件数より、質問の側を先に固定します。よく来る質問10件に答えられる資料だけを対象にするのが最短です。総量が500ページ分に満たないなら、探す工程を組まずに丸ごと渡す方式でも実用になります。仕組みを作る前に、その規模で答えの質を体感しておくと、後の投資判断がぶれません。

答えが当たらないとき、最初に見るのはどこですか

答えの本文ではなく、根拠として並んだ資料名です。見当違いの資料が並んでいれば検索の工程、正しい資料が並んでいるのに答えが的を外していれば渡した後の工程です。この1回の確認で、原因は半分に絞れます。指示文の書き直しは、この確認の後に回します。

古い資料は削除したほうがよいですか

削除より、正本を決めることが先です。過去の経緯を追う質問では旧版が必要になるため、消すと別の答えが出せなくなります。取り込む対象から外す、または版数と有効期限を断片に付けて、現行かどうかを答えの中で言わせる形にします。

情報システム部門にはどう説明すればよいですか

説明する項目は3つに絞れます。対象にする置き場所、権限をどう評価するか、記録として何を残すか。この3点だけを先に合意し、1枚の覚書にしておくと後の議論がほとんど起きません。逆にここを飛ばすと、使われ始めた頃に運用が止まります。

AIが答えられなかった質問は、失敗として数えるべきですか

いいえ、答えられないと正しく返せたなら成功に数えます。数えるべき失敗は、根拠が無いのに答えを作った件です。この2つを同じ列で数えている限り、精度の数字は実態を表しません。

まとめ

社内資料を根拠にAIへ答えさせる仕組みは、資料を覚えさせることではなく、質問のたびに必要な数枚を探して渡すことです。総量が500ページ分に満たないなら丸ごと渡す方式で足りますが、量が増えると、必要な記述が入力の中ほどに埋もれて取り出せなくなります。仕組みは取り込み、区切りと索引付け、検索、生成の4工程に分かれ、精度の大半は真ん中の2つで決まります。断片は数百字を目安に、資料全体のどこの話かを1文足しておく。意味の近さだけでなく語の一致を見る検索を併用し、多めに拾って並べ替えで絞る。公開された測定では、この積み上げで上位20件に正解が入らない割合が5.7%から1.9%まで下がっています。精度が出ない原因は7つの型に整理でき、探せていない側3つと、渡っているのに使えていない側4つに分かれます。古い版と崩れた表は、正常に動いているように見えて間違うので厄介です。権限は質問のたびに評価し、評価も実際に使う層の権限で行う。出典は付けるだけでなく、根拠にした原文をそのまま添えさせ、社名と人名、金額と数量、日付と版数の3種類だけを人が照らす。そして直す前に測る。よく来る質問50件に正解の資料名を付け、上位に正解が入った割合と、根拠から外れた件数と、使えたかどうかの3つを月に一度並べてください。この3つの数字が動き始めたら、その仕組みは育ち始めています。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。