AIが知らないことを答える原因と対策｜答えない線を引く

「社内の規程について聞いたら、うちには無いはずの制度の名前を、手当の金額まで付けて説明されました」「調べ物を頼むと必ず何かが返ってくるので、返ってきた時点では合っているのか間違っているのかが分からないんです」——社内にAIを入れて数か月たった部署から、この種の声が上がってきます。ここでよく言われるのが、精度が上がれば知らないことは自然に黙るようになる、という見立てです。そうではありません。「知らないから答えない」という動きは、放っておいても身に付きません。黙るかどうかは、使う側が答えてよい範囲と返し方を先に決めたかどうかで決まります。この記事では、答えてしまう原因を4つに分けたうえで、断らせる打ち手と、断りすぎたときの戻し方までを整理します。

「知らないなら黙るはず」という前提が、そもそも成り立っていない

最初に押さえておきたいのは、答えを作る側に「知っているかどうかを確かめる工程」が独立して置かれていない、という点です。大規模言語モデルは、与えられた文の続きとして確からしい語を選び続けることで文章を組み立てます。ここでいう確からしさは言葉のつながりとして自然かどうかであって、事実として正しいかどうかではありません。だから社内に存在しない制度の名前でも、前後の文脈に収まる形に並べられれば、そのまま文として出てきます。

OpenAIの研究者らが2025年9月4日に公開した論文は、この現象を「難しい試験問題に向き合う学生」にたとえています。確信が持てないときに推測で書く、その結果もっともらしいが誤った文が出る、という整理です。同じ論文は、事実でない内容が出ること自体は不思議な現象ではなく、正しい文と誤った文を見分けられない以上、学習の段で統計的な圧力として自然に生じると述べています。つまり珍しい事故ではなく、標準的な挙動として起きているという前提に立つ必要があります。

この前提に立つと、対策を置く場所が変わります。性能が上がるのを待つのではなく、答えてよい範囲と、答えられないときの返し方を、使う側が先に決める。順番も変わります。まず原因を分けて、原因ごとに打ち手を当てる。この記事では原因を4つに分け、そのあとに打ち手を4つ並べます。原因と打ち手が1対1で対応していないと、設定を増やしても断る動きは出てきません。なお、出てきた答えを誰がどう確かめるかという確認体制の話は、別の記事で扱う領分です。

原因の1つ目：世の中の文章が、そもそも言い切る形でできている

学習に使われる文章は、書籍も記事も社内文書も、圧倒的に言い切る形で書かれています。規程は「〜とする」と書き、手順書は「〜を押します」と書き、議事録は「〜と決定した」と書きます。「この点については分かりません」とだけ書かれた文書は、業務の世界にほとんど存在しません。断る形の文の実例が少ないということは、断る形の文を作る材料も少ないということです。

これは社内データを参照させる仕組みを入れても変わりません。参照先が社内の規程集と手順書であれば、そこに並んでいるのはやはり言い切りの文です。参照できた文書が質問と少しずれていても、文体の側は「〜です」の形に引っ張られます。結果として、中身の確からしさと文の強さが釣り合わない答えが出ます。読む側はこの釣り合いのずれを手がかりにできないので、強い文ほど信じてしまいます。

だから最初の手当ては、断る形の文の見本を与えることになります。「分かりません」の一言ではなく、どこを探したか、代わりに何を確かめればよいかまで含んだ文面を、こちらから渡します。文面の作り方はこのあとの打ち手の3つ目で具体的に書きます。ここで押さえておきたいのは、断り方を教えていない状態で「断ってください」とだけ頼んでも、断る文は出てこないという点です。

原因の2つ目：黙ると点が下がる採点のしかたで育ってきた

前掲の論文が中心に置いているのはこちらの理由です。性能を測る試験の多くは、正解に1点、白紙にも「分かりません」にも0点を与える形になっています。この採点のもとでは、確信が持てないときに当てにいくほうが期待される点数が高くなります。黙ることに報酬が無い以上、黙らないほうが最適な振る舞いになるという構造です。論文はこれを、試験を受けるのがうまくなるよう最適化された結果だと説明しています。

論文が提案している手当ても、この構造に沿っています。事実でない内容を測る専用の試験を新しく足すのではなく、順位表を支配している既存の試験の採点そのものを直す、という方向です。不確かさを表明したときに点を引かない形に変えなければ、いくら別の試験を増やしても、当てにいく振る舞いは残るという見立てです。

これを社内の話に置き換えると、同じことが自社の中でも起きています。導入の成果を「質問に答えられた件数」や「利用回数」だけで測っている限り、断る動きは評価されません。担当者の側も、断る設定を強めると数字が下がるので、強められなくなります。手当ては単純で、断って正しかった件数を、答えられた件数と並べて数えることです。分母を変えないまま設定だけ変えても、運用は元に戻ります。

原因の3つ目：問いの前提が間違っていても、そのまま受け取って組み立てる

実務でいちばん多いのはこの形です。「在宅勤務手当の申請期限はいつですか」と聞けば、その手当が存在するという前提ごと受け取られ、期限の話として答えが組み立てられます。前提の可否を先に確かめる動きは、指示がなければ出てきません。質問の形が、答えの形をそのまま決めてしまうということです。

この形が厄介なのは、聞いた側が誤りに気づきにくいところにあります。存在しない制度について聞いた場合、返ってくるのは「そんな制度はありません」ではなく、制度があることを前提にした手続きの説明です。読む側は自分の前提が肯定されたと受け取ります。特に新任の担当者や中途入社の社員は、社内にどの制度があるかを知らないまま聞くので、誤りを見つけられる立場の人ほど、その質問をしないという組み合わせになります。

手当ては指示文の側に入れます。答えを書く前に、質問に出てきた固有の名前が参照先に存在するかを確かめ、存在しない場合はその点を先に返す、という手順を固定で書き込みます。文面としては「ご質問にある制度名は、参照している規程集の中に見つかりませんでした」から始めさせる形です。前提の確認を、答えの一部ではなく、答えの前段に置くと、聞いた側の誤解が先に解けます。

原因の4つ目：社内データに無い語を、近い語で埋めてしまう

社内データを参照させる仕組みは、質問文に近い文書をまず探し、見つかった文書を材料にして答えを作ります。ここで起きるのが、探した結果が薄くても、上位の何件かを必ず材料として渡してしまう作りです。実装の記録として公開されている例では、一致の度合いに下限を置かずに上位5件を必ず渡す作りにしていたため、質問とほとんど関係のない文書からでも答えが組み立てられたと報告されています。

埋め方には特徴があります。社名の一部が一致する別の規程、似た読みの部署名、同じ数字が出てくる別年度の資料。人が見れば別物だと分かるものが、語の近さだけで拾われます。そこから答えを作ると、形式は社内文書そのままなのに、中身だけが別の文書から来ているものができます。読み手にとっていちばん見分けにくいのは、この社内の言い回しをまとった、社内に無い答えです。

• 社内に無い制度の名前を、それらしい説明つきで答えてしまう。「育児短時間勤務支援金」のような、ありそうだが自社には無い名前が出て、申請先の部署名と提出書類の名前まで付いてくる
• 受け取った担当者が、名前が具体的なので実在すると判断し、そのまま問い合わせ元の社員に転送する
• 問い合わせ元が人事に申請しに行き、そこで初めて存在しないと分かる。ここまでに3人の手を経ていて、どこで生まれた情報かを誰もたどれない

この型は、断りの設定だけでは止まりません。答えを作る手前、つまり文書を探す段で止める必要があります。詳しくは後述しますが、一致の度合いに下限を置く、拾えた文書が0件なら答えを作らせない、という2つを検索の側に入れるのが先です。答えの側で断らせる設定は、探す側で止められなかったものへの二段目の網だと考えると、どちらに手を入れるかで迷わなくなります。

打ち手の1つ目：答えてよい範囲を、質問ではなく業務の側から先に書く

範囲を決めるときに、答えてはいけない話題を並べる形から入ると、作業が終わりません。挙げるべき話題は無限にあり、書き漏らした話題は全部「答えてよい」側に落ちます。逆にします。参照してよい資料の名前で、答えてよい範囲を書くという形です。就業規則、旅費規程、経費精算の手順書、情報システム部門が公開している手順集。この4つに書かれていることだけを答える、と書きます。

資料の名前で書くと、範囲の線が資料の目次と一致するので、あとから確かめられます。「この質問は範囲内か」を判断するとき、資料を開けば答えが出ます。話題で書いた範囲は、判断する人によって解釈が動きますが、資料名で書いた範囲は動きません。担当者が代わっても同じ線が引けることが、運用を続けるうえでの条件になります。

書く場所は、毎回の質問文ではなく、仕組みの側に固定で入れる指示文です。利用者が書く質問文に入れてもらう形にすると、書かない人が必ず出ます。固定の指示文に入れておけば、誰が質問しても同じ範囲が適用されます。四半期に1度、参照先の資料が増えていないかだけを見直し、増えていれば名前を足します。見直しの日を先に決めておかないと、参照先は古いまま半年でも1年でも残ります。

打ち手の2つ目：参照した場所を必ず添えさせ、添えられないなら出させない

2つ目は出力の条件です。答えの末尾に、参照した文書の名前、見出し、日付の3つを添えさせます。ここで効くのは添えさせること自体ではなく、添えられない場合は答えを出さないという条件のほうです。参照先を書けないということは、材料が無いまま文を作ったということなので、その時点で止める理由になります。

運用してみると、添えさせた瞬間に答えが短くなります。これまで補足として付いていた一般論の段落が消えるためです。一般論の部分には参照先が無いので、条件に引っかかって落ちます。利用者からは「そっけなくなった」という声が出ますが、落ちた部分は社内の資料に裏付けのない部分なので、落ちてよい部分です。短くなったことを、質が下がったと読み替えないよう、導入時に伝えておきます。

日付を添えさせるのは、古い版を参照したときに気づけるようにするためです。規程は改定されますが、古い版が共有フォルダに残っていることがよくあります。参照先の日付が古ければ、答えの中身が正しくても現行ではない可能性が残ります。なお、なぜその答えになったかを利用者に説明する仕組みの作り方そのものは、別の記事で扱う領分です。ここで決めているのは、出してよいかどうかの条件として参照先を使うという1点だけです。

打ち手の3つ目：見つからないときの返し方を、文面で決めておく

「分かりません」だけを返すと、聞いた側は次にどうすればよいか分からず、結局その仕組みを使わなくなります。断る文面には4つの要素を入れます。見つからなかったという事実、どこを探したか、代わりに確かめられる窓口、そして何を足せば答えられるようになるか。この4つがそろうと、断りが行き止まりではなく案内になります。

文面はこちらで用意し、指示文に埋め込みます。たとえば「ご質問の内容は、参照している就業規則と旅費規程の中には見つかりませんでした。関連しそうな見出しは見つかっていません。人事部の窓口にお問い合わせください。なお、この質問は記録に残しますので、該当する資料が追加されれば次回から答えられるようになります」という形です。窓口の名前を文面に固定で入れておくと、断られた人が宙に浮きません。

もう1つ、部分的に見つかった場合の文面も別に用意します。全部は答えられないが一部は答えられる、という状態を「答えられない」に丸めてしまうと、使える情報まで捨てることになります。見つかった部分だけを答え、見つからなかった項目を箇条書きで示し、その項目について窓口を案内する、という形です。断り方を1種類しか用意しないと、断る率だけが上がって役に立たなくなります。

打ち手の4つ目：確からしさの下限を決めて、割ったら人に渡す

4つ目は数で線を引く話です。使える尺度は仕組みによって変わりますが、実務でよく使われるのは3つあります。質問文と文書の一致の度合い、材料として拾えた文書の件数、そして答えの中で参照先に裏付けられている文の割合です。このうち1つでも決められれば、線は引けます。3つとも完璧に測ろうとすると、いつまでも運用が始まりません。

下限の決め方には順番があります。最初から厳しい値を置くと断る件数が跳ね上がるので、まず1か月は下限を置かずに流し、そのあいだの値を記録します。記録した値を高い順に並べ、人が読んで明らかに外れている答えがどのあたりから始まるかを見ます。その境目の少し手前に最初の下限を置きます。最初の下限は、測ってから決める。他社の値を持ってきても自社の資料には合わないからです。

下限を割ったときの行き先も同時に決めます。単に断るのか、人に渡すのかの2通りです。社内の問い合わせなら断って窓口を案内すれば足りますが、見込み客への回答では断って終わりにできないので、担当者に渡す形にします。渡すときは、質問文、拾えた文書の名前、下限を割った値の3つを一緒に渡します。これが無いと、受け取った担当者が最初から調べ直すことになります。

検索の側で止める：拾えなかったものを、拾えたことにしない

打ち手を4つ並べましたが、効き目がいちばん大きいのは、答えを作る手前の検索の側です。上位の何件かを必ず材料として渡す作りをやめ、一致の度合いが下限に届かない文書は渡さない。渡す文書が0件になったら、答えを作らせずに断りの文面を返す。この2つを入れるだけで、近い語で埋めた答えの多くは出る前に消えます。

拾えない原因は、仕組みの側だけにあるとは限りません。社内ヘルプデスクの正答率を50%前後から2025年10月時点で80%まで上げた記録では、正しく答えられなかった件の原因が、社内にそもそも情報が無い、検索結果に不要な情報が混ざる、問い合わせ文の形が整っていない、といった側に分かれたと報告されています。断る設定を強めても、社内に情報が無いという原因には効きません。

だから断り率を見るときは、断った理由を最低3つに分けて数えます。社内に情報が無かった、情報はあるが検索で拾えなかった、質問の書き方が短すぎて何を聞かれたか判断できなかった。1つ目は資料を足す仕事、2つ目は表記のゆれを吸収する仕事、3つ目は質問欄の作りを直す仕事で、手当ての担当部署も違います。断り率を1つの数字で見ていると、どこに手を入れればよいかが分かりません。

線の位置は業務ごとに違う：4つの場面で比べる

ここまでの打ち手は共通の土台ですが、線をどこに引くかは業務によって変えます。断り損ねたときに何が起きるかが違うためです。次の表は、よく使われる4つの場面について、断らせる基準、断ったあとの行き先、断り損ねたときの影響を並べたものです。自社の用途がどの行に近いかを先に決めてから、下限の値を決めます。

場面	断らせる基準	断ったあとの行き先	断り損ねたときに起きること
社内の問い合わせ（規程・手続き）	参照先の資料に見出しごと見つからなければ断る。部分一致では答えさせない	窓口の部署名を文面で案内し、質問を記録に残す	存在しない制度の説明が社内に広がる。申請の段で止まるが、担当部署の手間が増える
見込み客への回答（問い合わせ窓口）	参照先が公開済みの資料に限られているかを見る。未公開の情報に触れたら断る	断らずに担当者へ渡す。質問文と拾えた資料名を添える	外に出していない条件や価格が伝わる。取り消しがきかず、商談の前提が崩れる
数字の集計・実績の照会	集計の対象期間と出どころの表が特定できなければ断る。推計をさせない	集計の担当者に渡し、元の表の場所を示す	似た別年度の数字が混ざる。会議資料に載ってから気づくことが多い
法務・契約に関する照会	条文の番号と版が特定できなければ断る。解釈を書かせない	法務の担当者に渡す。AIの下書きは渡さず質問文だけを渡す	解釈を断定した文が社内に残り、後日の判断の根拠として引用される

表の4行で共通しているのは、断ったあとの行き先を必ず人か窓口に固定している点です。行き先を書かずに断る設定だけを入れると、断られた人が個別に誰かへ聞きに行くようになり、結局は元の負荷に戻ります。行き先を決めるほうが、基準を細かくするより先です。

違いが出るのは2行目と4行目です。この2つは「断って終わり」にできません。見込み客を待たせると機会が消えますし、法務の照会は放置されると現場が自己判断で進めます。この2つだけは、断りの文面ではなく、人に渡す通知の形を先に作ります。断ることと、渡すことを、同じ設定で扱わないのが分かれ目になります。

導入は1つの場面から：5段で回し始める

全社の全用途に一度に線を引こうとすると、基準の合意だけで数か月かかります。始め方は1つの場面に絞る形が現実的です。次の5段は、社内の問い合わせを最初の場面に選んだ場合の順番です。1段目から5段目までで、おおむね1か月半を見ておきます。

5段目まで終えると、断り率と、断って正しかった件数の両方が数字で残ります。次の場面に広げるときは、この数字を持って合意を取ります。数字を持たずに広げようとすると、断る設定は「使いにくくなる変更」としてしか受け取られません。

黙らせすぎると起きること：断る率が上がって使われなくなる

線を引く話の裏側で必ず起きるのが、断りすぎです。下限を厳しくすると、答えられるはずの質問まで断るようになります。利用者は2回か3回断られると聞きに来なくなり、元の個別の問い合わせに戻ります。仕組みは動いているのに使われていない、という状態がいちばん見つけにくく、断り率が下がっていないのに問い合わせ件数だけが減るという形で表に出ます。

だから見る数字は2つ並べます。断り率と、週あたりの質問件数です。質問件数が2週続けて2割以上減ったら、下限が厳しすぎる側に振れていると考えます。逆に、断り率が下がったのに人への問い合わせが増えている場合は、答えてはいるが役に立っていない可能性があります。どちらも1つの数字だけでは判断できません。

• 断り率は、下限の値を変えていなくても動く。参照先の資料を差し替えたとき、質問の傾向が変わる時期（年度替わり・制度改定の直後）には必ず動く
• 急に上がったときは、まず設定変更の履歴と資料の更新履歴を確かめる。利用者の質問が悪くなったと決めつけない
• 戻すときは下限を一気に緩めない。0.05刻みのように小さく動かし、1週間ごとに件数を見る。一度に戻すと、どの変更が効いたか分からなくなる

戻し方は、下限を緩める前に、断った件の仕分け結果を見ます。社内に情報が無いという理由が多いなら、下限を緩めても正しい答えは出ないので、資料を足すほうが先です。拾えなかったという理由が多いなら、下限ではなく検索の側、つまり表記のゆれや社内語の言い換えを足します。下限を触るのは、仕分けで原因が「拾えなかった」に寄っていると確かめたあとにします。

断った質問を、社内データに足して回す

断りの設定は、入れて終わりにすると半年で形骸化します。回し続ける仕組みは単純で、断った質問を記録し、その中身を資料の側に足していく流れを作ることです。記録する項目は4つだけにします。質問文そのもの、断った理由の区分、参照先で拾えた文書の名前、そして質問した部署です。記録する項目を増やすと、記録そのものが止まります。

足す先は、質問した部署ではなく、その情報を持っている部署が決めます。在宅勤務の手当について質問が集まっているなら、人事が就業規則の該当箇所に見出しを足すか、手順書に1項目を足します。ここで注意したいのは、断られた質問をそのまま新しい文書にしないことです。1問1答の文書が増えると、次は検索がそちらを拾い、規程本体が読まれなくなります。

回す間隔は月に1度で足ります。前月に断った件を区分ごとに並べ、同じ趣旨の質問が3件以上あったものだけを資料に足す対象にします。1件だけの質問は、次の月も出るかを見てから判断します。3件という線を先に決めておくと、何を足すかで毎月もめずに済みます。足した結果は、翌月の断り率に表れるので、効いたかどうかも数字で確かめられます。

AIに決めさせない範囲を、断りの設計そのものにも当てる

最後に、この記事の主題そのものに当てはまる注意点です。断る基準、下限の値、断ったあとの行き先。これらをAIに決めさせてはいけません。答えを作る側に「自分がどこまで答えてよいかを判断させる」形にすると、判断の根拠が文の確からしさに戻ってしまい、結局は同じ問題が一段深いところで起きます。基準は人が数字で決め、設定として外から与えます。

AIに任せてよいのは、決めるための材料を整える側です。断った質問を区分ごとにまとめる、同じ趣旨の質問をまとめる、拾えた文書の名前を一覧にする。この3つは件数が多いほど効きます。一方で、下限をいくつにするか、どの部署を窓口にするか、どの質問を資料に足すかは人が決めます。材料を作らせるのはAI、線を引くのは人、という分け方を最初に書いておくと、運用の途中で境目が動きません。

もう1つ、根拠を書かせることを条件から外さないでください。断った理由を区分するときも、なぜその区分にしたかを1行書かせます。区分だけが並んだ一覧は、あとから見直せません。人が確認する範囲を先に決めるという原則も同じで、断られた件のうち何割を人が読み返すかを、最初に決めておきます。全件は読めないので、週に20件と決めてしまうのが現実的です。

まとめ

答えられないことを答えてしまうのは、性能が足りないからだけではありません。言い切る形の文章で学び、黙ると点が下がる採点で育ち、問いの前提をそのまま受け取り、近い語で穴を埋める。この4つが重なって起きています。だから手当ても4つ必要で、答えてよい範囲を資料の名前で書く、参照先を添えられないなら出させない、見つからないときの文面を決める、確からしさの下限を割ったら人に渡す、という形で当てます。

線の位置は業務ごとに変えます。社内の問い合わせは断って窓口に案内すればよく、見込み客への回答と法務の照会は断らずに人へ渡します。そして断りすぎは必ず起きるので、断り率と質問件数を並べて見て、原因を3つに分けてから戻します。始めるときは1つの場面に絞り、断った件を毎週仕分けて、月に1度だけ資料に足す。この回し方が続けば、断る線は自社の資料に合った位置に寄っていきます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。