社内AIが答えられない質問とは？｜質問ログから穴を見つける

「社内向けのAIを入れたのに、結局いつもの担当者に聞きに来る人が減りません」「答えられなかった質問があることは画面で見えているのですが、そこから何をすればよいのか分かりません」——運用を始めて半年ほど経った部署から、決まって出てくる声です。ここで見落とされているのは、答えられなかった質問の一覧は、失敗の記録ではなく、社内に無い資料の欠品表だということです。ヘルプフィールが2022年9月に、従業員数2,000人以上の企業に勤める正社員400名へ行った調査では、社内情報を調べる時間は1日あたり平均1時間5分、自分で解決できた人は約22%にとどまり、残りは上司や同僚（70.8%）や関連部署（59.8%）へ聞きに行っていました。この記事では、答えられなかった質問を4つに分け、無い資料を特定して埋めるところまでを整理します。

社内AIが「答えられない」とは、どういう状態か

まず状態を定義しておきます。現場で答えられないと呼ばれているものは、見え方が3つに分かれます。1つ目は、分からないとはっきり返してくる場合。2つ目は、社内の事情に触れず一般論だけを返してくる場合。3つ目は、それらしい社内用語を使いながら、内容が間違っている場合です。3つ目がいちばん厄介で、聞いた人はそのまま信じて動きます。

3つに共通しているのは、AIが参照できる範囲の中に、その問いの答えが無いことです。参照の仕組みをどう作るかという話は別の記事の領分なので、ここでは扱いません。この記事が扱うのは、仕組みが動き出した後に出てくる記録を、どう読むかだけです。仕組みの出来がよくても、参照する先に答えが無ければ結果は同じになります。

答えられなかったことを、どう検出するかも決めておきます。信号は3つです。分からないとはっきり返した件。同じ人が同じ内容を言い換えて何度も聞き直した件。そしてAIに聞いた直後に、人へ聞きに行った件。3つ目がいちばん強い信号ですが、記録に残りにくいので工夫が要ります。回答の末尾に、解決したかどうかを1押しで残せる欄を置くと拾えます。

答えられなかった質問を捨てると、同じ穴が毎月開く

記録を残していない現場では、同じことが毎月起きます。ある人が聞き、答えが返らず、担当者に聞きに行く。担当者は口頭で答える。その答えはどこにも残らないので、翌月に別の人が同じ問いを立て、同じ道をたどります。答えられなかった質問は、放っておくと人の時間に変換されて消えます。消えた分は、担当者の残業として現れます。

量を見ておきます。先のヘルプフィールの調査にあった1日1時間5分という数字を、営業日20日で置き直すと、1人あたり月におよそ21時間です。100人の部署なら月に2,100時間規模になります。全部がAIで減らせるわけではありませんが、同じ問いが繰り返されている分については、1件埋めるだけで人数分が減ります。埋める価値は、件数ではなく聞いた人の広がりで決まります。

消えているのは時間だけではありません。同じ調査では、社内情報の整備が足りないことにストレスを感じると答えた人が69.9%に上りました。探しても出てこない経験が積み重なると、次からは最初から人に聞くようになります。そうなると、社内AIに質問そのものが集まらなくなり、欠品表を作る材料まで失われます。記録を読む運用は、質問が来ているうちに始めないと立ち上がりません。

捉え方を変えると、やることが変わります。答えられなかった一覧を成績表として見ると、精度を上げるという曖昧な目標しか出てきません。同じ一覧を資料の欠品表として見ると、どの棚に何が無いかという具体の作業に変わります。以降はこの見方で進めます。欠品表なので、埋めるべきものと、そもそも置かないと決めるものの両方が載ります。

「答えられない」は4つに分かれる

欠品表を読むには、区分が要ります。実務で使えるのは4つです。次の表は、区分ごとに記録での見え方、打ち手、そして区分を取り違えたときに起きることを並べたものです。

区分	記録での見え方	打ち手	取り違えたときに起きること
そもそも資料が無い	分からないと返している。または一般論だけを返している	答えを持っている人を探し、決まっていない場合は決める人を先に決める	検索の調整を続けても件数が減らず、仕組みのせいにされる
あるが古い	社内の用語を使った具体的な答えが返るが、現場の運用と食い違う	改定日と次の見直し日を入れ、旧版を参照の範囲から外す	新しい資料を足しても、古い版と両方が引かれて食い違いが増える
あるが探せない	分からないと返すが、担当者の呼び名で聞き直すと答えられる	現場の呼び名と資料の中の呼び名の対応を、質問文から拾って足す	同じ内容の資料が何本も作られ、どれが正しいか分からなくなる
答えてはいけない	一般論を返している。または誰に聞けばよいかを返している	答えないと決め、代わりに相談先を返す形にして記録に残す	権限の設計が崩れ、見てよい人の範囲が資料の側から広がる

表の使い方は1つです。先に4つ目を抜いてから、残りを3つに振り分けます。4つ目が混ざったまま件数の多い順に並べると、いちばん上に来るのが答えてはいけない質問だった、ということが起きます。順番を逆にするだけで、この事故は防げます。

区分の数を4つに抑えている理由も書いておきます。細かく分けるほど正確になりそうに見えますが、区分が増えると、振り分けの判断そのものが滞ります。月に一度、数十件を30分で振り分けられる粒度に保つことのほうが、精度より優先されます。足りなくなったら、区分を増やすのではなく、区分の中で優先度を付けます。

区分1：そもそも資料が無い

いちばん件数が多いのがこれです。口頭と経験だけで回っていた領域が、そのまま穴になります。出張の精算で例外が出たときの扱い、取引先から特殊な様式を求められたときの進め方、年に数回しか起きない手続の順番。頻度が低く、毎回誰かに聞いていた業務ほど、資料がありません。

見分け方は単純です。同じ問いを、社内で答えられる人がいるかどうかを確かめます。1人でも即答できる人がいれば、資料が無いだけの状態です。書けば埋まります。誰も即答できないなら、それは資料が無いのではなく、会社としてまだ決まっていない、という別の問題です。この2つを分けずに進めると、担当者の推測が資料として固定されます。

決まっていないものを資料にしてはいけません。やることは、決める人を決めることです。誰が決めるのか、いつまでに決めるのか、決まるまでは誰に聞くのか。この3つを書いて、質問した人にはその3つを返します。決まっていないと分かることにも価値があります。少なくとも、人によって違う答えが返る状態は止まります。

資料を足すときの単位は、質問の側に合わせます。制度の名前ではなく、聞かれた問いの単位で1件を作ります。ただし、1件をどう書くかという書き方の設計は別の記事の領分なので、ここでは踏み込みません。ここで決めるのは、どの問いに対して1件を作るかという対象の選び方だけです。

区分2：あるが古い

2つ目は、資料はあるのに中身が古い場合です。件数は多くありませんが、事故につながる度合いはいちばん高くなります。AIは古い資料を正しく読み取り、正しく引用して、間違った答えを返します。根拠が示されている分だけ、聞いた人は信じます。

見分け方は、記録だけでは付きません。返ってきた答えが実在の資料に基づいていて、なおかつ現場の運用と食い違っている、という2つが同時に起きているときに疑います。実務では、質問した人が「いや、今はそうじゃないです」と続けて書き込んでいる箇所が手がかりになります。聞いた人の反論が残っている記録は、古い資料の在りかを指しています。

古い資料が残る理由は2つに絞れます。置き場が複数あって、改定したときに片方しか直していない場合。もう1つは、改定のときに旧版を消さず、両方が参照される範囲に置かれたままの場合。どちらも版の管理の問題で、資料の中身の問題ではありません。なお、読み取れない資料を読める形に直す前処理の話は別の記事の領分なので、ここでは扱いません。

手当ては3つです。資料の先頭に改定日と次の見直し日を入れる。旧版は参照の範囲から外し、必要なら別の場所に退避する。そして、改定したときに参照の範囲を更新する人を1人決める。3つ目を決めないと、1か月で元に戻ります。改定する人と、参照の範囲を直す人が別々でも構いませんが、名前で決めておきます。

区分3：あるが探せない

3つ目は、資料があり、新しく、それでも引かれない場合です。原因のほとんどは呼び名のずれです。資料には正式名称で書かれていて、現場は略称や通称で聞きます。制度の名前で書かれていて、現場は作業の名前で聞きます。同じことを指しているのに、語が1つも重なりません。

見分け方は、聞き直しです。質問文の語のまま資料を探して見つからないのに、担当者が使う呼び名に置き換えると一発で出てくる。この状態なら区分3です。確かめるのに1件あたり数分しかかかりません。区分1と区分3の見分けは、この置き換えの1手間だけで付きます。ここを飛ばすと、既にある資料をもう1本作ってしまいます。

手当ては、呼び名の対応を足すことです。正式名称と、現場で使われている呼び名を並べた一覧を作り、参照の範囲に含めます。呼び名は自分たちで考えず、記録に残っている質問文からそのまま拾います。想像で作った言い換えは、現場の語と一致しません。

拾い方の実務も書いておきます。月に一度、答えられなかった質問文を並べ、資料に出てこない語を抜き出します。1か月で10語から20語ほど出ます。そのうち、同じものを指している語をまとめて、正式名称と結びつけます。ただし、1件の資料の中で見出しをどう立てるかという書き方の設計には入りません。足すのは、語と語の対応だけです。

区分4：答えてはいけない

4つ目は、埋めてはいけない区分です。給与や人事の評価に関わること。係争中の案件。まだ公表していない計画。特定の取引先との条件。個人を特定できる情報。これらは、答えられないことが正しい状態です。記録の上では答えられなかった件として並びますが、扱いはまったく別になります。

この区分を抜かずに埋めにいくと、何が起きるかは決まっています。資料を参照の範囲に足した瞬間、その資料を見てよい人の範囲が、資料の側から広がります。もともと閲覧を絞っていたはずの内容が、AIに聞けば誰でも要約で読める状態になります。権限の設計は、資料を1本足すだけで崩れます。崩れたことに気づくのは、たいてい後になってからです。

手当ては、答えないと決めることと、代わりに何を返すかを決めることの2つです。分からないと返すのではなく、この内容は所管の部署で扱っています、と相談先を返す形にします。聞いた人は目的を果たせますし、記録の上でも区分4として残ります。何も返さないと、同じ問いが形を変えて何度も立ちます。

区分4として処理したことは、必ず記録に残します。残さないと、翌月の見直しで再び候補に上がってきます。残す内容は、問いの要旨、区分4と判定した理由、返した相談先の3つで足ります。判定の理由を書いておくと、担当が代わっても同じ線が引けます。

4区分の見分け方：記録の文面だけでは決まらない

ここまで区分ごとに見分け方を書いてきましたが、共通する原則を1つ置いておきます。記録に残った質問文だけを読んでも、区分は決まりません。同じ文面の質問が、ある会社では区分1で、別の会社では区分3です。手元の資料の状態によって変わるからです。

確かめる手順は3つです。1つ目、質問文の語のまま資料を探す。出てくれば区分2か3の候補です。2つ目、担当者の呼び名に置き換えて探し直す。ここで出てくれば区分3が確定します。3つ目、社内で即答できる人を探す。いれば区分1、いなければ決まっていない状態です。この3手順で、1件あたり3分から5分で振り分けられます。

3手順のどれでも決まらない件は、保留の欄に置いて翌月へ回します。無理に区分を付けると、区分1として資料を書き足したのに件数が減らない、という月をもう一度繰り返すことになります。保留は失敗ではなく、材料がまだ足りていないという記録です。保留に置いた件は、なぜ決まらなかったのかを1行だけ書いておくと、翌月に同じところで止まらずに済みます。

誰がやるかも決めておきます。振り分けは、その業務を知っている人でないと精度が出ません。全社を1人で見るのではなく、業務の区分ごとに担当を置きます。1人あたり月に10件から20件までが現実的な上限です。それを超える月は、埋める件数を絞るのではなく、振り分けの担当を増やします。振り分けが滞ると、以降の工程が全部止まります。

質問ログに何を記録し、どこまで伏せるか

振り分けができる記録になっているかを、先に確かめます。残す項目は多くありません。

• 質問の文そのもの、または要旨に置き換えたもの
• 聞かれた日時と、聞いた人の所属（部の単位まで）
• AIが返した内容の型（分からないと返した／一般論／社内用語つきの答え）
• 参照したと示された資料の名前
• その後に人へ聞き直したかどうか

一方で、伏せる線も先に決めます。質問文をそのまま残すと、本人の事情がそのまま一覧に載ります。実際に起きる失敗は次の3つです。

• 質問文をそのまま残したため、来月の休職の手続を知りたいといった本人の事情が、一覧に並んで誰でも読める状態になっている
• 所属を課の単位まで細かく残したため、3人しかいない課では誰の質問かが分かってしまう
• 記録の閲覧範囲を決めないまま全社の共有の場所に置き、上長が部下の質問を読める状態になっている

伏せ方の実務は3つです。質問文は、区分の判定に必要な部分だけを残した要旨に置き換える。所属は部の単位までにとどめ、課や個人の名前は残さない。記録を見てよい人の範囲を、記録を取り始める前に決めて書いておく。伏せる設計を後から足すのは、ほぼ不可能です。最初の1か月の記録が、すでに元の形で残ってしまっているからです。

ただし、伏せすぎると使えなくなります。要旨に置き換えるときに、聞かれた語をすべて言い換えてしまうと、区分3の判定材料である呼び名が消えます。残すのは語、消すのは事情、という線で分けます。判断に迷う件は、要旨を作る人が1行のメモを付けて、振り分けの担当に渡す形にしておきます。

月に一度の見直しを回す5工程

ここまでの作業を、決まった周期で回す形にします。週に一度では振り分けの担当が疲れ、四半期に一度では記録が溜まりすぎて読めません。月に一度が、多くの現場で続く周期です。

5工程を1回あたり2時間に収めるのが目安です。時間が足りなくなったときに削るのは、4工程目の件数であって、2工程目や3工程目ではありません。埋める件数を減らしても被害はありませんが、区分4の抜き取りと振り分けを飛ばすと、後から取り返しがつきません。

埋める順番は、件数だけで決めない

振り分けが終わると、次は埋める順番です。聞かれた回数の多い順に並べたくなりますが、それだけでは外します。判断軸は4つあります。

判断軸	見る数字	優先が上がる場合	優先が下がる場合
聞かれた回数	先月の同一内容の件数	毎月続けて出ている問いである	特定の時期にだけ出る問いで、その時期が過ぎている
聞いた人の広がり	聞いた人が所属する部の数	3つ以上の部から同じ問いが出ている	1人が繰り返し聞いているだけである
間違えたときの影響	誤った理解で進めた場合の手戻りの大きさ	社外への連絡や、費用の発生につながる	やり直しても内部の作業で収まる
埋めるのにかかる手間	答えを持つ人の人数と、決めが要るかどうか	即答できる人がいて、書けば終わる	会社として決まっておらず、決める会議から必要になる

4つの軸の組み合わせ方は、簡単な順番で決めます。3列目に2つ以上当てはまる件を先に、4列目に2つ以上当てはまる件は後ろに。残りは聞かれた回数の順で並べます。点数を付けて合計する方式は、毎月の運用では続きません。

1か月に埋める件数にも上限を置きます。5件から10件が目安です。多く埋めるほど良さそうに見えますが、一度に増やすと、増やした資料が正しく引かれているかを確かめる余力が無くなります。埋めた件の効き目を翌月に確かめられる件数を上限にしておくと、区分の振り分けの精度も上がっていきます。

埋めた後に効いたかを測る3つの数字

埋めっぱなしにすると、翌月も同じ件が一覧の上位に並びます。効いたかどうかは、3つの数字で見ます。1つ目、同じ内容の問いが翌月に何件残ったか。2つ目、その問いをAIに聞いた直後に人へ聞きに行った件数。3つ目、足した資料が実際に参照された件数です。

比べ方は、埋める前の1か月と埋めた後の1か月です。1つ目だけを見ると判断を誤ります。件数が減っていなくても、2つ目が減っていれば、答えの中身は届いています。逆に1つ目が減っていても3つ目がゼロなら、別の資料が引かれているか、問い自体が季節で消えただけです。3つを並べて初めて読み取れます。

効かなかったときの読み方も決めておきます。最初に疑うのは、埋めた資料の中身ではなく、区分の振り分けです。区分1だと思って書き足したが、実は区分3（呼び名のずれ）だった、という取り違えがいちばん多く起きます。区分を1つ変えて打ち直すほうが、資料を書き直すより速く効きます。3か月続けて効かない件は、そもそも決まっていない領域である可能性を疑います。

全部埋めにいくと、権限の設計が崩れる

運用が軌道に乗ると、件数を減らすこと自体が目標になりがちです。ここに落とし穴があります。答えられなかった件をゼロに近づけようとすると、本来は答えてはいけない問いまで埋める方向に力が働きます。しかも埋めるのは簡単で、資料を参照の範囲に足すだけで済んでしまいます。

崩れ方は3通りあります。1つ目、閲覧を絞っていた資料が、要約という形で誰にでも読めるようになる。2つ目、部分的にしか公開していない情報が、複数の資料を突き合わせた回答の中で復元される。3つ目、答えてよいかどうかの判断が、資料を足す担当者の手元に移り、決裁の外で行われるようになる。3つ目がいちばん見つかりにくく、いちばん深く進みます。

歯止めは2つです。参照の範囲に資料を足すときに、誰が見てよい資料かを書く欄を必ず設ける。そして、区分4として処理した件数を毎月報告する。答えなかった件数を成果として報告する形にしておくと、埋める圧力と釣り合います。答えられなかった件をゼロにすることは、目標にしてはいけません。

AIに任せる範囲と、人が決める範囲

この運用でAIが効くのは、記録を扱う側の作業です。質問文を要旨に置き換える、似た問いをまとめて件数を数える、区分の下書きを付ける、月ごとの推移を一覧にする。どれも人が後から確かめられる形で出てくる作業なので、任せる価値があります。とくに要旨への置き換えは、件数が増えるほど効きます。

任せてはいけないのは、決めの側です。区分の確定、とくに区分4かどうかの判定。埋める順番の決定。そして、資料を参照の範囲に足すかどうかの判断。AIに判断させないと決めたうえで、下書きには必ず理由を書かせます。どの語を根拠にその区分にしたのかを添えさせると、取り違えがその場で見つかります。

人が確認する範囲も先に決めます。全件を人が確かめるのは、区分4の候補として上がってきた件と、埋めると決まった件です。それ以外の振り分けは、月に一度まとめて抜き取りで見ます。範囲を決めずに始めると、最初の月は全件を見て、翌月から誰も見なくなります。抜き取りの割合は1割程度から始めて、取り違えの多さに応じて調整します。

落とし穴も1つ挙げておきます。似た問いをまとめさせると、件数の情報が消えることがあります。10件あった問いが1行にまとまり、そのまま優先度の判断に使われてしまう形です。まとめさせるときは、まとめた元の件数を必ず列に残させます。件数が消えた一覧は、順番を決める材料になりません。

よくある質問

どれくらいさかのぼって集めればよいですか

直近1か月分から始めます。半年分をまとめて集めると、量に圧倒されて振り分けが終わりません。1か月分でも、最初の月は保留の欄に半分近くが残ります。それで構いません。2か月目からは、前月の保留と今月の新規を合わせて回します。3か月続けると、保留の割合が2割程度まで落ちます。

質問の件数が少なく、月に一度では判断できません

件数が月に10件に満たない場合は、周期を四半期に一度へ延ばすより、対象を広げるほうが効きます。AIへの質問だけでなく、担当者が口頭で受けた問い合わせを同じ一覧に書き足します。口頭で受けた問いは、AIが答えられなかった質問と同じ欠品を指しています。書き足す手間は1件30秒ほどです。

資料を増やすと、かえって探せなくなりませんか

その懸念は正しく、だからこそ区分3の判定を先に入れています。同じ内容の資料を重ねて作らない限り、件数が増えても引きにくくはなりません。むしろ危ないのは、古い版を消さずに新しい版を足す運用です。足すときに旧版を外す作業を同じ工程に含めると、この問題はほぼ起きません。

答えられなかった質問を、そのままAIに学ばせてはいけませんか

質問文をそのまま材料にするのは避けます。質問文には本人の事情が混ざっており、伏せる線を越えます。加えて、質問には誤った前提が含まれていることも多く、それごと材料になります。使うのは、質問から取り出した呼び名と、人が確かめたうえで作った答えの側だけです。

まとめ

社内AIが答えられなかった質問は、精度の成績表ではなく、資料の欠品表でした。区分は4つ。そもそも資料が無い、あるが古い、あるが探せない、答えてはいけない。区分は記録の文面だけでは決まらないので、質問文の語で探す、呼び名を置き換えて探す、即答できる人を探す、の3手順で振り分けます。毎月の工程では、答えてはいけない件を最初に抜いてから、残りを埋める順番に並べます。記録には語を残し、事情は要旨に置き換え、閲覧の範囲を始める前に決めます。埋めた後は、翌月の残件数、人へ聞き直した件数、参照された件数の3つで効きを見ます。まずは先月分の記録を1枚にまとめ、区分4に当たる件を抜くところから始めてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。