社内AIの答えは作り手だけでは直せない｜使う人に押してもらう

「配ったあとも答えの質を保ちたいのですが、作った側で全部を読み返すのは無理でした」「良し悪しを聞く欄は付けたのに、半年で誰も押さなくなりました」——社内に生成AIの仕組みを配った担当者から届く声です。前者は点検の担い手の話、後者は仕組みの置き方の話に見えますが、行き着く先は同じところです。社内AIの答えの良し悪しは、作り手が読み返して直すものではありません。本当は、その業務の正解を持っている使う人に押してもらい、押された跡を束で読んで直す仕組みです。この記事では、何を押してもらうか、なぜ押されなくなるか、集まった反応をどう読むか、そして押された内容をAIに判定させて自動で直させない理由までを整理します。

作り手が読み返して直すやり方は3か月で止まる

社内にAIの仕組みを配った直後は、作り手が自分で答えを読み返す形で回ります。配った範囲が狭く、どんな資料を読ませたかの記憶も新しいので、おかしな答えを見つけたらその場で直せます。この時期に品質が上がるのは事実で、だからこのやり方が続けられるものだと誤解されます。

止まる理由は2つあります。ひとつは量です。使う人が増えれば答えの数は増え、読み返せる割合は下がります。もうひとつはもっと根本的で、作り手が業務の正解を持っていないことです。量の問題は人を増やせば先送りできますが、こちらは人数では解けません。

運用の解説でも、1人の担当者に集中させず複数のメンバーで運用チームを組み、手順を文書化して属人化を防ぐことが挙げられています。体制としては正しい方向ですが、増やした人も業務の正解を持っていなければ、止まる場所は変わりません。読み返す目が2倍になるだけで、判定できる範囲は広がらないためです。

だから直し方の設計を変えます。作り手が読み返す形から、使う人に判定を1回の操作で出してもらう形へ移す。使う人の仕事を増やすのではなく、その人がすでに頭の中で下している判定を、取り出せるようにするだけです。

業務の正解を持っているのは使う人のほうだ

社内AIの答えの良し悪しは、2つの層に分かれます。ひとつは書き方の層で、長すぎる・順番が悪い・言葉づかいが社内の慣習と違うといった話です。もうひとつは業務としての正しさの層で、その処理がその手順で本当に通るのか、例外に当たっていないか、という話です。

前者は作り手にも見えますが、後者は見えません。休職している人の扱い、締め日の直前だけ変わる手順、その部署にだけ残っている慣習——こうした前提は資料に書かれていないことが多く、書かれていても最新かどうかは現場でないと判定できません。作り手が読んで違和感がなくても、現場では通らない答えが出ます。

この構造があるので、点検の担い手を移す必要があります。移すといっても、現場に読み返しの当番を作るという話ではありません。使う人はその答えを見た瞬間に、使えるかどうかをすでに判定しているからです。判定はもう終わっているので、あとはそれを外に出す口を1つ置くだけです。

押してもらう仕組みを置く目的は、作り手が楽をするためではありません。作り手の側に無い情報を取るための設計です。この目的をはっきりさせておくと、後で出てくる「押してもらえない」の対処も、頼み方ではなく置き方の問題として扱えるようになります。

押してもらう仕組みは、評価制度ではなく合図として置く

置き方を間違えると、押す操作が評価制度に見えます。見えた瞬間に押されなくなるので、ここは文言と見せ方で先に潰しておきます。評価に見えるかどうかは、押す人が何を採点していると感じるかで決まります。

押されなくなる感じ方は2つあります。ひとつは、悪いを押すことが仕組みを作った人への告発に見えるという感じ方。もうひとつは、悪いを押すと自分の使い方が下手だと記録に残るように見えるという感じ方です。前者は人間関係、後者は自分の評価への影響で、どちらも押す前にブレーキがかかります。

だから合図として置きます。聞くのは満足度ではなく、この答えをこのまま業務に使えるかどうかです。人ではなく答えに対する合図であることを、押す場所のすぐ横の文言で示します。「この答えはこのまま使えましたか」のように、対象が答えであることが読み取れる短い一文を添えるだけで、押される数は変わります。

配るときの案内の一文も、ここで効いてきます。「回答の評価にご協力ください」と書くと制度に見えますが、「このまま使えなかったときは下の印を押してください。押された分から直します」と書くと合図になります。何のために押すのかを、押す人の得になる形で1行書く。この一文があるかどうかで、最初の1か月に集まる数が変わります。

• 押した人の名前を担当者が見られる形にするかどうかは、仕組みを置く前に決める
• 見られる形にするなら、何に使うのか（部署ごとの前提を聞きに行くため、など）を明示する
• 押された内容を人事評価や利用状況の報告に転用しないことを、最初の案内で言い切る

何を押してもらうか。2択にする理由

押してもらうのは、良いか悪いかの2択に絞ります。運用の解説でも、対話の最後に「はい」か「いいえ」の選択を入れて満足度を確かめる形や、「この回答はお役に立ちましたか」という問いで良い・悪いを集める形が基本として紹介されています。2択は押すまでの時間がいちばん短いという一点で優れています。

3段階や5段階にすると、真ん中に集まります。真ん中は「悪くはないが良くもない」という意味で、直す先が決まりません。社内で使う道具では、押した人が誰かに角を立てたくないぶん、真ん中が最頻値になりやすいという偏りも加わります。集めた結果を見ても、どこから直せばよいかが読み取れない状態になります。

2択の文言は、役に立ったかどうかよりそのまま使えたかどうかに寄せるほうが精度が上がります。役に立ったかは気分を聞く問いで、丁寧に書かれていれば使えなくても良いが押されます。使えたかどうかは行動を聞く問いなので、業務として通ったかが答えに乗ります。

押す操作は1つの答えにつき1回にします。同じ答えに何度も押せると、強く不満を持った人の反応だけが積み上がり、後で束として読むときに歪みます。1つの答えに1票という形にしておくと、集まった数がそのまま何人が判定したかに近づきます。

「悪い」の内訳は4つまでにする

悪いが押されたときだけ、内訳を選んでもらいます。内訳が無いと、悪いの束を見つけても何を直せばよいかが決まらないためです。ただし選択肢を増やすと、押す前に読む時間が増えて、悪いそのものの件数が落ちます。

「悪い」の内訳	押された時に起きていること	直す先
書いてあることが違う	参照している資料が古いか、誤りを含んでいる	資料そのもの
必要なことが抜けている	例外や前提が資料に載っていない	資料そのもの
聞いたことと答えがずれている	問いの取り違え、当てる資料の選び違い	指示文と資料の当て方
内容は合うが使える形でない	長さ・順番・宛先の書き分けが業務に合っていない	出力の型

内訳は直す先で割ります。感想で割ると、選ばれたあとに何をすればよいかが決まりません。「分かりにくい」「期待と違う」といった選択肢は、押す側には選びやすくても、受け取る側の作業には結び付きません。上の表のように、選ばれた時点で直す場所が一意に決まる形にします。

内訳の文言は、現場で使われている言い方に寄せます。「情報が古い」より「書いてあることが違う」のほうが選ばれるのは、押す人が資料の状態ではなく自分が見た結果で判定しているからです。また、内訳は後から増やさないほうがよく、途中で追加すると前の期間と比べられなくなります。足したくなったら、既存の4つのどれかに寄せられないかを先に考えます。

内訳の記入を必須にしないことも大事です。必須にすると、押す手間が1回から2回になり、いちばん取りたい悪いの件数が真っ先に落ちます。内訳は任意にして、選ばれなかった悪いも数として残す。内訳の付いていない悪いでも、同じ業務に固まっていれば束としては読めます。

自由記述はどこまで求めるか

自由に書いてもらう欄は置きますが、必須にはしません。必須にした時点で押す操作が報告書の提出になり、押される数が大きく落ちます。置く位置は、内訳を選んだあとの1行にします。最初から書く欄が見えていると、書くことを求められていると感じて押すのをやめる人が出ます。

求める内容は、感想ではなく訂正に寄せます。欄の上の文言を「正しくはどうなりますか」にすると、書かれる内容が変わります。感想を求めると「分かりにくかった」が並びますが、訂正を求めるとその業務の正解そのものが1行で書かれて戻ってきます。これが、作り手の側に無い情報の中で最も価値の高いものになります。

書かれない前提で設計しておくことも同時に必要です。自由記述が集まる割合は、内訳の選択にくらべて大きく下がります。内訳の4択だけで直す先が決まる作りにしておき、自由記述は当たれば速くなる補助として扱うのが現実的な置き方です。

書かれた記述は、そのまま直しの指示にしません。1人の書いた訂正がその部署だけの慣習ということがあるためです。記述は束を読むときの手がかりとして使い、資料を書き換えるかどうかは、同じ業務で複数の反応が出てから決めます。

押す場所は答えのすぐ下、押せるのは答えが見えている間

置く場所は、答えのすぐ下です。別の画面や別の入力欄に移した時点で、押す人はほぼいなくなります。押す操作は、判定が終わった直後の数秒の中にしか収まらないためです。数秒を過ぎると、その人はもう次の作業に移っています。

押せる時間も同じ理由で、答えが見えている間に限ります。あとからまとめて振り返って評価してもらう形は、記憶が薄れているぶん判定が甘くなり、そもそも実施されません。月末にまとめて聞く形は、回収率も中身の精度も落ちます。

押したあとの表示も設計に入れます。押した直後に見た目が変わり、受け取られたことが分かる。何も変わらないと、押したかどうかが自分でも分からなくなり、次から押さなくなります。押した瞬間の手応えが、次の1回を呼びます。

答えが長い場合は、押す場所を答えの上下の両方に置く形もあります。読み終えた位置から動かずに押せることが大事なので、長い答えでは下端だけに置くと、上まで戻る手間が発生して押されません。

押してもらえない原因は3つに集約される

押されない状態が続いているとき、原因はだいたい3つのどれかです。使う人の意欲の問題に見えますが、3つとも仕組みの側の問題で、研修で押してくださいと頼んでも直りません。

1つ目は、押す場所が分かりにくいこと。答えの下に小さく置かれていたり、他の操作と並んでいて何を押すのか読み取れなかったりする状態です。2つ目は、押したあとに何も起きないこと。押しても答えが変わらず、何が改善されたかも見えないと、意味のない操作だと判断されます。

3つ目は、評価が個人の成績に見えること。押した記録が誰のものとして残るのかが不明なままだと、悪いを押すことが自分に返ってくるかもしれないと考えます。3つのうち、いちばん影響が大きいのは2つ目です。場所が分かりにくくても、押す価値があると分かっていれば人は探して押します。

この3つは、押されなくなった時期を見れば見当が付きます。最初から押されないなら1つ目か3つ目、しばらく押されていたのに減ったなら2つ目です。減り方の形から原因を絞れるので、押された件数の推移は、成果の数字としてではなく原因の特定のために見ます。

押した後に何かが起きると分かる形にする

押されなくなる最大の原因が2つ目である以上、直しの中心はここに置きます。必要なのは、押された反応が何かにつながったことが、押した人に見える状態を作ることです。

いちばん簡単なのは、定期的な戻しです。月に1回、先月に押された分のうち、どれをどう直したかを短く出します。件数の報告ではなく、具体的にどの業務の答えが、どの資料の更新で変わったかを書きます。件数だけの報告は、押した本人にとって自分の1回が含まれているかどうかが分からず、効果がありません。

戻す先は、押した本人だけでは足りません。その業務を使っている部署全体に出します。押していない人にも、押せば変わるという情報が届くためです。戻しの連絡そのものが、次の押してくださいという案内になります。

直さなかったものも書きます。直さない理由——資料の持ち主が別部署である、仕様として変えられない、その部署だけの前提で全体には適用できない——を1行添えるほうが、黙って放置するより押され続けます。読まれていることが分かれば、直っていなくても押す動機は残ります。

反応が集まらなくなる型

押されない状態を作ってしまう置き方には、はっきりした型があります。次のどれかに当てはまっていないかを、仕組みを直す前に確かめます。

• 押す場所を別の入力欄や別の画面に置く：判定が終わった数秒の中に収まらず、押す前に次の作業へ移られる
• 悪いに理由の記入を必須にする：手間が2回になり、いちばん取りたい悪いの件数から落ちる
• 3段階以上にして真ん中を作る：真ん中に集まり、集めた結果から直す先が読み取れなくなる
• 押した人の名前を部署内に開示する：告発に見えて、押す前にブレーキがかかる
• 押しても何も戻ってこない：意味のない操作だと判断され、しばらく押されたあとに止まる
• 押された件数だけを月次で報告する：件数を増やす方向に運用が寄り、質の情報が集まらなくなる

6つのうち、最後の1つは見落とされやすい型です。押された件数を成果の数字として報告し始めると、押してもらうこと自体が目的になります。押す操作を増やす働きかけは進みますが、内訳の粒度や戻しの仕組みは後回しになり、結果として直しに使えない反応だけが積み上がります。

直す順番は上から順ではありません。まず押しても何も戻ってこない状態を潰し、次に押す場所を答えのすぐ下へ動かし、最後に内訳と段階数を整えます。この順にするのは、戻しの仕組みが無いまま置き場所だけ直しても、しばらくして同じところまで戻るからです。1つ直すごとに1か月ほど様子を見て、押された数の推移で効いたかを確かめます。

集めた反応の読み方

集まった反応は、1件ずつ読んでも判断できません。読むのは形です。どういう集まり方をしているかで、疑う場所が変わります。

集まり方の形	起きている可能性が高いこと	最初にやること
同じ業務の問いに悪いが繰り返し付く	その業務で参照している資料か、当て方が合っていない	同じ束の答えを3本並べて読む
特定の部署だけ悪いが多い	その部署だけの前提が資料に入っていない	その部署の担当に1回だけ聞きに行く
内訳が「使える形でない」に偏る	内容は合っていて、形だけが業務と合っていない	出力の型を先に直す
ある日を境に悪いが増えた	資料の入れ替えか設定の変更が直前にある	変更の記録と日付を突き合わせる
良いも悪いもほとんど付かない	仕組みの置き方の問題で、答えの質の話ではない	直しの材料としては読まない

5つのうち最後の行が、いちばん間違えやすいところです。押されていない状態を「不満が無い」と読むと、直す材料が無いまま放置されます。押されていないことは、答えについて何も語っていません。この場合に見直すのは答えではなく、押す場所と戻しの仕組みのほうです。

読むときの期間も先に決めておきます。前回見た日から今日までを1区切りにして、その中での集まり方だけを見る。期間を切らずに全期間を積み上げると、すでに直した束がいつまでも上位に残り、同じところを何度も読むことになります。直した束は、直した日付で区切って別に置くと、次の期間の並びが素直になります。

4行目の「ある日を境に」も、見つければ原因が一気に絞れる形です。社内の仕組みは、読ませる資料の入れ替えや設定の変更が静かに入ることがあります。押された日付の並びを先に見ておくと、答えの中身を読む前に原因が特定できることがあります。

件数を追うと読み違える。束を探す

良いの割合を毎月追う形は、一見すると管理しやすく見えますが、直しには使えません。押す人の顔ぶれが月ごとに変わるためで、割合は答えの質ではなく、その月に誰が使ったかで動きます。割合が下がった月に答えが悪くなったとは限りません。

読むのは束です。同じ業務の問いに、繰り返し悪いが付いている固まりを探します。束が見つかれば、その束の中の答えを並べて読むことで、共通して何が欠けているかが目で分かります。1件だけの悪いは、押した人の勘違いのこともあるので、単体では動きません。

束の作り方には注意が要ります。問いの文言そのものでまとめると、同じことを聞いている問いが別々の束に散ります。まとめるのは文言ではなく、その問いが指している業務です。言い回しが違っても、月次の締めの手順を聞いているものは1つの束にします。

束として動かす大きさは、あらかじめ決めておきます。同じ業務で3回続いたら見る、といった決めごとで十分です。運用の解説でも、問い合わせの頻度が高い重要なものから優先的に改善していく形が有効とされています。決めておかないと、目に付いた1件から直し始めて、効きの薄いところに時間を使います。

良いが付いた答えの使い道

良いは、そのままでは直しに使えません。なぜ良かったのかが書かれていないためです。悪いのほうが情報量が多いのは、押した人がわざわざ手間をかけている分だけ、不満の中身がはっきりしているからです。運用の解説でも、悪い評価が付いた回答は最優先の改善対象として扱われています。

それでも良いには2つの使い道があります。ひとつは、そのまま配れる答えの型を見つけること。良いが集まっている問いの答えを読むと、長さ・順番・どこまで書くかの目安が取れます。この型を、他の業務の答えの形に反映させます。

もうひとつは、直したあとの確認です。悪いが付いていた束を直したあと、同じ業務で良いが戻ってきたかを見る。直しが効いたかどうかは、悪いが減ったことではなく良いが増えたことで確かめるほうが確実です。悪いは、押す人が減っただけでも減ります。

良いの割合を成果の数字にしないことは、ここでも変わりません。数字にすると、押しやすい業務にだけ仕組みが行き渡り、押しにくい業務が見えなくなります。良いは、直しの前後を比べるときの目盛りとしてだけ使うのが安全です。

反応を直しにつなげる順番

束が見つかってから直すまでの順番を、先に決めておきます。順番が決まっていないと、目に付いたものから手を付けて、何が効いたのか分からないまま次に移ります。

一度に複数を直さないのは、効いた原因を残すためです。資料と指示文と出力の型を同時に変えると、良いが戻ってきても何が効いたのか分かりません。次に似た束が出たときに使える知見が積み上がらないので、遠回りに見えても1つずつ動かします。

1周にかける時間は、2週間から1か月を上限にします。直してから同じ問いを通し、押した人に戻すところまでが1周なので、途中で次の束に手を出すと戻しが遅れます。戻しが遅れると押されなくなり、次の周で読む材料そのものが減ります。周を短く保つことが、集まり続ける仕組みの条件になります。

直す順番は、件数ではなく止まる業務から決めます。件数の多い束は目立ちますが、件数が少なくても、間違えたまま進むと戻せない業務のほうが先です。押された件数の並びをそのまま作業の順番にすると、この判断が落ちます。

押された内容をAIに判定させて自動で直させない

押された反応をAIに読ませて、資料を自動で書き換える形は技術的には作れます。束にまとめる作業も、内訳の分類も、機械でできる作業です。それでも、直す判定と書き換えそのものは自動にしません。理由は2つあります。

1つ目は、悪いが押された理由が押した人の中にしか無いことです。内訳の4択と自由記述の1行から、その人が業務として何に引っかかったのかを完全に復元することはできません。復元できない部分をAIが埋めると、もっともらしい別の話に置き換わったまま、資料が書き換わります。書き換わった資料は次の答えの土台になるので、間違いはそのまま増えていきます。

2つ目は、悪いが間違っていることがあることです。使う人が前提を取り違えていた場合、正しい答えに悪いが付きます。1件なら埋もれますが、その勘違いが部署で共有されていると、束として現れます。自動で直す仕組みは、正しい答えを壊す方向にも同じ速さで働きます。

だからAIに任せるのは、束にまとめる作業と、その束がどの資料を見て答えていたのかを突き合わせる作業までにします。人が確認する範囲は先に決めます。資料の書き換えと、出力の型の変更は必ず人が承認する。そのうえで、どの反応がどの資料に結び付いたのかを根拠として出させ、根拠が読めないものは直しの対象に上げません。

見直しの周期と、誰が見るか

集めた反応を見る周期は、配ってからの時期で変えます。運用の解説では、導入の初期は週に1回から隔週、安定してきたら月に1回、問い合わせが増える時期は随時、という頻度が示されています。初期に細かく見るのは、想定していなかった使われ方が出てくるためです。

見る人は、作り手だけでは足りません。ここまで書いてきたとおり、業務としての正しさは作り手には判定できないからです。業務側から1人、束の中身を読める人を入れる。入れられないなら、束を持って聞きに行く相手をあらかじめ決めておきます。

属人化を避ける点も同じです。運用の解説では、1人の担当者に集中させず複数のメンバーで運用チームを組み、手順を文書化して定例の場で見る形が挙げられています。束の作り方と直す順番を文書にしておけば、見る人が入れ替わっても判断がぶれません。

会そのものは短く保ちます。30分、扱う束は3つまで。全部を見ようとすると会が長くなり、続きません。その回で直すものを3つ決めて終わるほうが、月に1回でも確実に前へ進みます。なお、押されないまま流れている問い——答えられずに終わった質問から資料の穴を探す話——は別の入口の仕事なので、この会では扱いません。

まとめ

社内AIの答えを直し続けるための要点は、点検の担い手を作り手から使う人へ移し、押された跡を束で読むことに尽きます。作り手が読み返す形は、時間ではなく業務の正解を持っていないところで止まります。押してもらう形は良いと悪いの2択に絞り、悪いのときだけ直す先で割った4つの内訳を任意で選んでもらう。押す場所は答えのすぐ下、押せるのは答えが見えている間だけにする。押されない原因は、場所の分かりにくさ、押しても何も起きないこと、個人の成績に見えることの3つで、いちばん効くのは2つ目なので、直した結果を月に1回具体的に戻す。読むのは件数ではなく、同じ業務の問いに悪いが繰り返し付いている束で、直すときは資料か当て方か出力の型のどれか1つに絞って1周ずつ回す。AIには束にまとめる作業と資料の突き合わせまでを任せ、書き換えと型の変更は根拠を読んだうえで人が承認する。まずは、いま配っている仕組みで、押す場所が答えのすぐ下にあるかどうかを確かめるところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。