顧客向けAIを社員で試す5工程｜公開前に穴を出し切る

「開発会社からは、テストは全部通ったと報告を受けた。それでも、このまま顧客に出して本当に大丈夫なのか」「試しに営業に触らせたら、想定していない聞き方で、とんでもない答えが返ってきた」。顧客向けのAIを公開する直前に、担当者が抱える不安はたいていこの2つに集約されます。どちらも、慎重すぎる心配ではありません。開発会社のテストは、仕様どおりに動くかを確かめるものです。本当に確かめたいのは、顧客が実際に投げてくる質問に、出してよい答えを返せるかであり、それは顧客に近い社員に使わせてみないと分かりません。この記事では、公開前に社員に先に使わせて穴を出し切る社内試用の進め方を、5つの工程で整理します。

開発会社のテストを通っても、穴は残る

顧客向けのAIを作るとき、開発会社は通常、あらかじめ用意した質問と期待する答えの組を使って動作を確かめます。これは必要な確認ですが、確かめられるのは「用意した質問に対して」の動きだけです。用意する側は製品や仕様をよく知っているため、質問も整った言い方になりがちで、顧客が実際に打ち込む崩れた言い回しや、複数の用件を一度に聞く質問は抜け落ちます。

もう1つの限界は、何を答えてはいけないかの判断です。価格の値引き、契約の解釈、他社製品との比較、法律に関わる助言などは、事業の方針や社内の決まりを知らないと、答えてよいかどうかを判定できません。答えてはいけない線を知っているのは、開発会社ではなく自社の社員です。この線に沿って確かめる工程を、公開前に自社で持つ必要があります。

社内試用は、この2つの限界を埋めるための工程です。顧客の聞き方を知っている営業やサポート、社内の決まりを知っている各部署の社員に、公開前のAIを実際に使わせ、問題のある答えを記録してもらいます。開発会社の受け入れの確認とは目的が違い、仕様どおりかではなく、顧客の前に出して困らないかを見ます。

公開後に表に出た穴：2つの事例

公開後に穴が表に出ると、何が起きるのか。よく知られているのが、カナダの航空会社の事例です。サイトのチャットが、身内の不幸で飛行機に乗る人向けの割引運賃について、旅行の後からでも申請できると案内しました。実際の規定では後日の申請はできず、利用者は差額の支払いを求めて争いました。2024年2月、カナダの民事紛争の審判所は航空会社に支払いを命じています。

この審判で航空会社は、チャットは会社とは別の存在で、その発言に責任を負わないと主張しましたが、認められませんでした。審判所は、利用者がサイトの別のページで情報を確かめ直さなければならない理由はないとも述べています。顧客向けAIの答えは、会社の答えとして扱われるということです。規定のページが正しくても、AIが古い理解や誤った理解で答えれば、会社の責任になります。

もう1つは、米国のニューヨーク市が2023年10月に始めた、事業者向けのAIチャットです。2024年3月、米国の報道機関の調査で、従業員のチップの一部を受け取ってよいか、家賃補助を使う入居者を断ってよいかといった質問に、市の法律に反する答えを返していたことが報じられました。同じ質問でも、聞く人によって答えが変わることも確かめられています。画面には誤りを含む場合があるという小さな注意書きがありましたが、それで利用者が誤りを見分けられるわけではありませんでした。

社員の試用で出したい5種類の穴

2つの事例は、どちらも顧客が普通に聞きそうな質問で起きています。社内試用で出したい穴は、大きく5種類に分けられます。1つ目は、顧客が実際に使う言い回しや略し方、誤字を含む質問に、的外れな答えを返す穴です。2つ目は、答えてはいけない質問に答えてしまう穴で、社外秘の情報、個人に関わる情報、法律や医療の判断などが当たります。

3つ目は、他社との比較、価格、契約条件に踏み込む穴です。「他社より安いですか」「この条件なら解約できますか」といった質問に、AIが根拠なく断定すると、営業上も法務上も問題になります。4つ目は古い情報で、終わったキャンペーン、改定前の料金、販売を終えた製品を、参照資料に残ったまま案内してしまう穴です。

5つ目は、意地悪な質問や指示の乗っ取りです。ウェブの安全を扱う国際的な非営利団体が2024年末に改訂したAIアプリの危険の一覧でも、AIへの指示を利用者の入力で書き換えてしまう乗っ取りが、2版続けて1位に置かれています。専門的な攻撃の試験は別に行うとしても、社員が思いつく範囲の意地悪な聞き方は、試用の課題に含めておきます。

社内試用の5工程の全体像

社内試用は、誰かに「触ってみて」と頼むだけでは成果が出ません。触った人の感想が口頭で集まるだけで、何がどれくらい問題なのかが分からず、直す側も手をつけられないからです。そこで、次の5つの工程で進めます。

この順番には意味があります。記録の形を決める前に試用を始めると、集まった情報を後から整理し直す手間がかかります。直し先を決める前に公開の判定をすると、直せる穴と直せない穴が区別できません。工程を飛ばさずに順に進めることが、限られた期間で穴を出し切るための近道です。

5つの工程を通して進めるために、取りまとめ役を1人決めておきます。取りまとめ役は、試す人への依頼、課題と記録の形の準備、集まった記録の振り分け、判定の場の用意までを受け持ちます。開発会社との窓口を兼ねると、直しの依頼がそのまま伝わり、話が早く進みます。反対に、取りまとめ役を置かずに部署ごとに進めると、同じ穴が別々の言葉で開発会社に届き、直しの優先順位が決まらなくなります。

工程1：試す人を選ぶ

試す人は、顧客の聞き方を知っている人と、社内の決まりを知っている人を混ぜて選びます。中心になるのは、日々顧客と話している営業とサポートです。顧客がどんな言葉で質問し、どこでつまずくかを体で知っているため、現実に近い質問を投げられます。加えて、法務や経理など、答えてはいけない線を知っている部署からも人を入れます。

見落とされがちなのが、新人と、製品に詳しくない他部署の人です。製品に詳しい人は、無意識に正しい用語で質問してしまいます。製品をよく知らない人の質問こそ、初めて問い合わせる顧客に近いため、的外れな答えや、分かりにくい説明を見つけやすくなります。詳しい人と詳しくない人の両方がいることで、穴の出方に幅が出ます。

人数は、担当する質問の範囲が重ならないように割り振れる程度が目安です。全員が同じ質問ばかり試すと、同じ穴が何度も報告されるだけで、見つかる穴の種類が増えません。営業には価格や契約の質問、サポートには不具合や操作の質問、他部署には初めての人の質問というように、あらかじめ持ち場を分けておきます。

工程2：試す課題を用意する

試用の課題は、実際の問い合わせ履歴から作るのが基本です。メールやフォーム、電話の記録から、よくある質問、答えるのが難しかった質問、クレームにつながった質問を拾い出し、個人の情報を除いたうえで課題にします。開発会社が用意した質問と重なるものは減らし、実際の顧客の言い方をそのまま残すようにします。整えすぎると、試用の意味が薄れます。

課題は、決まった質問を順に聞くものだけでなく、自由に聞いてよい枠も設けます。決まった課題は、全員で同じ質問を試して答えのばらつきを見るのに向いています。自由な枠は、試す人が自分の経験から思いついた質問を投げるためのもので、想定外の穴はこちらから出ることが多くなります。決まった課題と自由な枠を半々くらいにしておくと、両方の良さが生きます。

課題には、1回で終わる質問だけでなく、何往復かのやり取りも含めます。最初の質問には正しく答えても、「では、この場合は」と条件を足していくうちに、答えてはいけない領域に入っていくことがあるからです。顧客も実際にはそのように聞いてくるため、やり取りを重ねる課題を用意しておくと、現実に近い穴が見つかります。

答えてはいけない質問を、課題に必ず混ぜる

課題づくりで特に重要なのが、答えてはいけない質問を意図して混ぜることです。問い合わせの履歴からは、答えるべき質問は集まりますが、AIが答えてはいけない質問は意識しないと集まりません。法務や経理、営業の責任者に、「この質問にAIが答えたら困る」というものを挙げてもらい、課題に加えます。

これらの質問に対して期待する動きは、答えることではなく、答えないこと、または人に引き継ぐことです。課題ごとに「期待する動き」を事前に書いておくと、試す人が迷わずに判定できます。答えないのが正解の質問を、正解として明記しておくことで、試す人は「うまく答えてくれた」と見誤らずに済みます。

答えてはいけない質問は、課題全体の中で一定の割合を占めるようにします。答えるべき質問ばかりが並ぶと、試す人は途中から答えの正しさだけを見るようになり、踏み込みすぎた答えを見過ごします。また、同じ答えてはいけない質問でも、丁寧な聞き方、急かす聞き方、前のやり取りで前提を積み上げてから聞く聞き方の3通りほどで試すと、どの聞き方で線を越えるのかが分かり、直し先を決めやすくなります。

工程3：記録の形を決める

試用で見つかった穴は、全員が同じ形で記録します。形がばらばらだと、後で集計も振り分けもできません。記録に最低限必要なのは、どんな質問をしたか、AIがどう答えたか、何が問題だったか、どれくらい重いか、の4つです。表計算のシートでも十分で、1行に1件の穴を書く形にします。

質問と回答は、要約せずにそのまま貼り付けてもらいます。要約すると、どこが問題だったのかが直す側に伝わらなくなるからです。また、同じ質問を何度か繰り返して答えが変わったかどうかも記録しておきます。ニューヨーク市の事例でも、同じ質問への答えが人によって変わっていました。1回だけ正しく答えても、繰り返すと崩れることがあるため、重要な課題は3回ほど聞き直してもらいます。

問題の型は、先に挙げた5種類をもとに選択式にしておきます。自由記述だけにすると、同じ種類の穴が違う言葉で書かれ、集計が難しくなります。選択肢に当てはまらないものだけを「その他」として自由に書いてもらい、試用の途中でその他が増えてきたら、新しい型として選択肢に足します。

重さは3段階で、先に決めておく

記録のうち、最も判断が分かれるのが重さです。試す人によって「これは大問題だ」と感じる基準が違うため、重さの段階と、それぞれに当てはまる例を試用の前に決めて共有しておきます。段階は3つ程度に絞ると迷いにくくなります。

重さ	当てはまる例	公開までの扱い
重い	答えてはいけない質問に答えた、誤った価格や契約条件を断定した、個人の情報を出した	1件でも残っていれば公開しない
中くらい	古い情報を案内した、他社との比較にあいまいに踏み込んだ、人への引き継ぎが遅い	件数の上限を決め、上限内なら条件付きで公開
軽い	言い回しが不自然、説明が長い、少し的外れだが害はない	公開後の改善に回してよい

重さの判断に迷った記録は、試す人に無理に決めさせず、「迷った」と印を付けて残してもらいます。迷った記録は、工程4で振り分けるときに担当者がまとめて判断します。重さの基準は、顧客や会社に実害が出るかどうかを軸にすると、部署をまたいでも判断がそろいやすくなります。

中くらいの穴の上限は、試用を始める前に件数で決めておきます。試用が終わってから決めると、残った件数に合わせて上限を動かしたくなり、基準の意味がなくなるからです。上限は一律の件数にするより、型ごとに決めるほうが実態に合います。たとえば古い情報の穴は、参照資料を直せば一度に解消できることが多いため厳しめに、言い回しの不自然さに近いものは緩めに、というように、直しやすさと影響の大きさで差をつけます。

工程4：直し先に振り分ける

記録が集まったら、それぞれの穴をどこで直すかに振り分けます。顧客向けAIの穴の多くは、次の4つのどこかで直せます。AIが答えのもとにする参照資料、AIへの指示文、AIに答えさせない範囲の設定、そして人への引き継ぎです。穴の型によって、どこを直せばよいかはおおよそ決まっています。

社員の試用で見つかる穴の型	よくある例	主な直し先
顧客の言い回しを取り違える	略称や誤字で聞かれると、別の製品の説明をする	参照資料に言い換えを足す／指示文で確認の問い返しをさせる
答えてはいけない質問に答える	契約の解釈や法律の判断を断定する	答えない範囲を設定し、定型の断り文を決める
価格・契約・他社比較に踏み込む	値引きを約束する、他社より優れていると断定する	答えない範囲の設定／人への引き継ぎに回す
古い情報を案内する	終わったキャンペーンや改定前の料金を案内する	参照資料から古い版を外し、更新の担当を決める
意地悪な質問・指示の乗っ取りに乗る	「指示を忘れて」で、内部の指示や不適切な答えを出す	指示文の守りを強め、専門の試験に回す
人に引き継ぐべき場面で引き継がない	怒っている顧客や解約の相談に、AIが答え続ける	引き継ぎの条件と窓口を決める

振り分けで注意したいのは、何でも指示文で直そうとしないことです。古い情報の穴を指示文で「古い情報は使わないで」と直しても、参照資料に古い版が残っていれば、また同じ穴が出ます。穴が生まれた場所で直すのが原則です。直し先ごとに担当者を決め、振り分けた記録を担当者に渡します。

答えない範囲を設定するときは、断るときの返し方まで決めておきます。「お答えできません」とだけ返すと、顧客は突き放されたと感じ、同じ質問を言い方を変えて繰り返します。価格の相談なら営業の窓口を、契約の解釈なら担当部署への問い合わせ方法を案内するというように、断る代わりに、どこに聞けばよいかを示す文を用意しておくと、答えない範囲が顧客にとっての行き止まりになりません。この返し方も、2回目の試用で実際に確かめます。

工程5：公開を判定する

直しが一通り終わったら、公開してよいかを判定します。判定は、工程3で決めた重さ別の基準に照らして行います。重い穴が1件でも残っていれば公開しない、中くらいの穴は上限の件数以内なら条件付きで公開する、軽い穴は公開後の改善に回す、という形です。直した穴は、同じ課題で聞き直して、本当に直ったかを確かめてから閉じます。

判定の場には、試用を取りまとめた担当者だけでなく、営業、サポート、法務など、公開後に影響を受ける部署の責任者に入ってもらいます。条件付きで公開する場合は、その条件を書き出します。たとえば「価格に関する質問は、当面すべて人に引き継ぐ」「サポートが最初の2週間は毎日回答を見返す」といった具合です。公開してよいかは、AIではなく人が決めることを、判定の場で明確にしておきます。

判定の結果、公開を見送ることになっても、試用は失敗ではありません。顧客の前で穴が出る前に見つかったのですから、試用の目的は果たしています。見送った場合は、重い穴がどの型に集中していたかを見て、直し先の手当てを優先順位をつけて進め、同じ課題で再び試用してから、改めて判定します。

期間と回し方の目安

試用の期間は、長すぎても短すぎても成果が落ちます。短すぎると自由な枠の質問が出そろわず、長すぎると試す人の集中が続かず、通常業務の合間に後回しにされます。1回の試用は1週間から2週間程度に区切り、その中で試す日時をあらかじめ予定に入れておくと、確実に時間が確保されます。

試用は1回で終わらせず、直しを挟んで2回に分けるのがおすすめです。1回目で大きな穴を出して直し、2回目で直ったかを確かめつつ、1回目で出なかった穴を探します。2回目には、1回目に参加しなかった人を何人か入れると、新しい目で見てもらえます。同じ人ばかりだと、慣れた聞き方になり、穴が出にくくなるからです。

• 試す日時を予定に入れず「空いた時間に」と頼むと、ほとんど試されないまま期限が来る
• 1回目と2回目の間に、直しの時間を十分に取っておく
• 公開日を先に固定しすぎると、重い穴が残っていても公開の圧力がかかる

試用の期間中は、AIの設定を途中で変えないことも大切です。1回目の途中で参照資料や指示文を直してしまうと、どの記録がどの設定のときのものか分からなくなり、直ったのか、たまたま出なかったのかが判断できません。直しは試用の区切りでまとめて入れるようにし、各回で使った参照資料と指示文の版を記録に書き添えておきます。重い穴がすぐに見つかった場合でも、その質問を試用の対象から外すだけにとどめ、設定の直しは区切りを待ちます。

社員が遠慮して、穴を出さない問題

社内試用でよく起きるのが、社員が遠慮して穴を報告しないという問題です。自社で作ったAIや、上司が導入を決めたAIに対して、欠点を指摘しにくいと感じる人は少なくありません。「このくらいは言わなくてもいいか」と小さな穴を飲み込んだり、試用を形だけで済ませたりすると、公開後にその穴が顧客の前で出ます。

これを防ぐには、穴を見つけることが歓迎される場だと、はっきり示すことが必要です。試用の冒頭で、責任者が「穴が多く見つかるほど試用は成功」と伝え、見つかった件数を部署や個人の成果として紹介します。穴の報告を作った人への批判として扱わないことも大切で、報告は作り手ではなくAIの答えに向けたものだと位置づけます。

記録の仕組みでも遠慮を減らせます。報告を名前入りにするか匿名にするかを選べるようにする、軽い穴でも1行で出せる簡単な形にする、といった工夫です。また、穴を出してくれた人に、その穴がどう直ったかを返すと、報告が意味を持ったと実感でき、次の報告につながります。

AIに任せてよいのは、分類と集計の下書きまで

試用の記録が数百件にもなると、手作業での整理は重くなります。そこでAIを使うのは有効です。記録を問題の型ごとに分類する、型ごとの件数や重さの内訳を集計する、似た穴をまとめる、といった作業の下書きをAIに任せられます。自由記述の「その他」から、新しい型の候補を挙げさせることもできます。

ただし、AIに任せるのはあくまで下書きまでです。分類には、なぜその型にしたのかという根拠を書かせ、担当者が確かめます。とくに重さの判断は、事業への影響を知っている人でなければできないため、AIに重さを決めさせてはいけません。公開してよいかの判定を、AIの集計結果だけで決めないことも徹底します。集計は判定の材料であって、判定そのものではありません。

AIに試用の記録を読ませる場合は、記録に顧客の個人情報が混ざっていないかを先に確かめます。課題を問い合わせ履歴から作るとき、個人の情報を除いておくのはこのためでもあります。社外のAIを使うなら、入力した内容がどのように扱われるかを、利用の条件で確認しておきます。

公開後も、顧客の声で穴を拾い続ける

公開前の試用でどれだけ穴を出しても、公開後に顧客が新しい聞き方をすれば、新しい穴は出てきます。そこで、公開後も穴を拾い続ける仕組みを用意しておきます。答えの下に「役に立った」「役に立たなかった」を押せる欄を置く、人に引き継いだやり取りを定期的に見返す、サポートに届いた「AIの答えが違っていた」という連絡を記録する、といった方法です。

拾った穴は、社内試用と同じ記録の形と重さの基準で扱います。形がそろっていれば、試用のときの記録と並べて、どの型の穴が公開後に増えたかを比べられます。公開前の試用で作った記録の形を、そのまま公開後の運用に引き継ぐことで、試用の仕組みが一度きりで終わらず、改善の土台になります。

また、試用に参加した社員は、公開後の運用でも頼れる存在です。AIの答えの癖や、穴が出やすい質問の型を知っているため、顧客からの問い合わせに異変があったときに気づきやすくなります。試用の参加者を、公開後の相談窓口や見返し役として残しておくと、試用で得た知見が組織に残ります。

社内試用でよくある失敗

最後に、社内試用で起きやすい失敗をまとめます。どれも、試用を「触ってもらうこと」と捉え、工程として設計していないことから起きます。

• 製品に詳しい人だけで試す：正しい用語で質問するため、初めての顧客がつまずく穴が出ない
• 答えてはいけない質問を課題に入れない：答えるべき質問しか試さず、最も重い穴を見逃す
• 感想を口頭で集める：何がどれくらい問題か分からず、直す側が手をつけられない
• 何でも指示文で直す：参照資料に古い版が残り、同じ穴が形を変えて出続ける
• AIの集計だけで公開を決める：重さの判断が抜け、重い穴が件数に埋もれる

これらを避けるには、5つの工程を順に踏むことが一番の近道です。とくに、答えてはいけない質問を課題に混ぜることと、重さの基準を先に決めることの2つは、省くと試用の価値が大きく下がるため、必ず押さえておきます。

試用が終わったら、結果を1枚にまとめて残しておきます。何人がどれくらいの期間試したか、型ごとに何件の穴が見つかったか、重い穴はどこで直したか、どの条件で公開したか、の4点があれば十分です。次に別の顧客向けAIを作るとき、この1枚があれば、どの型の穴が出やすいかを最初から課題に織り込めます。社内試用の経験は、作るたびに積み上がる社内の財産になります。

まとめ

顧客向けのAIは、開発会社のテストを通っても、顧客の言い回し、答えてはいけない質問、価格や契約への踏み込み、古い情報、意地悪な質問や指示の乗っ取りといった穴が残りやすいものです。2024年のカナダの審判では、チャットの誤った案内の責任を会社が負うとされ、ニューヨーク市の事業者向けAIは法律に反する答えを返していたことが報じられました。社内試用は、試す人を選ぶ、試す課題を用意する、記録の形を決める、直し先に振り分ける、公開を判定する、の5工程で進めます。試す人には営業・サポート・新人・他部署を混ぜ、課題には答えてはいけない質問を必ず入れ、重さは3段階で先に決めておきます。穴は参照資料・指示文・答えない範囲・人への引き継ぎのうち、生まれた場所で直します。AIには試用ログの分類と集計の下書きを任せ、分類の根拠を書かせて人が確かめ、公開してよいかの判定は重さ別の基準で人が決めます。まずは直近の問い合わせ履歴から、AIに答えさせたくない質問を10件書き出すところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。