AIの回答に苦情が来たときの5手順|記録と再発防止まで

AIの回答に苦情が来たときの5手順|記録と再発防止まで

「お客様から、そちらの対話窓口で言われたとおりにしたのに違った、と連絡が来ました。何から手を付ければいいでしょうか」「社内の道具が作った回答をそのまま送ってしまい、取引先から指摘を受けています」——問い合わせの現場から上がってくる相談は、だいたいこの2つの形をしています。ここで真っ先に始まるのが、誰の落ち度かという話です。ところが、その議論は初動としては遅い。苦情対応には国内規格があり、JIS Q 10002 は苦情を、その対応又は解決を明示的又は暗示的に期待しているもの、と定義しています。相手が期待しているのは責任の切り分けではなく、対応と解決の2つです。この記事では、AIが出した答えに苦情が来た場面に絞って、保全・事実確認・訂正・受け持ち・再発防止という5つの手順を、順番とその場で要る判断材料まで含めて整理します。


カメ先生カメ先生

AIの回答に苦情が来たとき、最初の一手が、誰のせいなのかを確かめることになりがちなんだ。ただ、苦情対応の順番としては、そこはかなり後ろにある。


カメ子カメ子

先に来るのは何でしょうか。


カメ先生カメ先生

残っているものを押さえることだよ。やりとりの画面、そのとき動いていた設定、渡していた指示文。どれも上書きされたり、保存の期間が過ぎて消えたりする。原因の話は後からでもできるけれど、消えた記録は後から作れないんだ。


カメ子カメ子

原因を決めないまま動き始めても、順番としては正しいということですか。


この記事のポイント
  • 最初にやるのは原因の特定ではなく保全。やりとり・設定・そのとき使っていたモデルと指示文は、時間が経つと取り戻せない
  • 事実確認は再現できるか、いつから出ていたか、他の人にも出たかの順で見る。順番を変えると範囲を読み違える
  • 再発防止は直せる原因と、確率的に揺れて直せない部分に分ける。後者は仕組みではなく運用で止める

AIの導入・活用、何から始めるべきかお悩みですか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

目次

「苦情」という言葉が指す範囲を、先に狭くしておく

苦情対応には国内規格があります。JIS Q 10002 は苦情を、製品若しくはサービス又は苦情対応プロセスに関して、組織に対する不満足の表現であって、その対応又は解決を、明示的又は暗示的に期待しているものと定義しています。ここから2つ読み取れます。1つは、相手が期待しているのは対応か解決であって、原因の解説ではないこと。もう1つは、苦情への対応の仕方そのものへの不満も、同じ苦情として扱われることです。最初の返し方を誤ると、苦情は1件から2件に増えます。

AIの回答をめぐって届く連絡は、実際には3つに割れます。1つ目は、回答の中身が事実として違っていた場合。2つ目は、中身は間違っていないが、断定の度合いや言い方が場面に合わなかった場合。3つ目は、回答の内容ではなく、人ではなくAIが答えたこと自体への抗議です。この3つは、後に出す訂正の形がまったく違います。1つ目には訂正文が要り、2つ目には言い回しの修正と経緯の説明が要り、3つ目に要るのは訂正ではなく、どこまでを機械に任せているかの説明です。

だから受けた直後に確かめるのは1問だけです。相手が求めているのは、訂正なのか、謝罪なのか、同じことが起きない約束なのか。規格の側も、受理の段階で苦情申出者が求めた解決策を記録するとしています。求めている解決策を書き取らないまま動くと、正しい訂正を出しても苦情が終わらない。ここを飛ばした対応は、数日後に必ず戻ってきます。

5つの手順を、先に全部並べておく

手順を決めておく目的は、正解を覚えることではありません。苦情の対応が長引く原因の大半は、判断の難しさではなく、次に何をするかで止まっている時間だからです。先に全体を置きます。

STEP1
保全する

やりとりの画面、そのとき動いていた設定、渡していた指示文、そして誰に届いたか。上書きされる前に押さえます。原因の推測より先に、この4つを写します。

STEP2
事実を確かめる

再現できるか、いつから出ていたか、他の人にも出たか。この順で見ます。順番を入れ替えると、範囲を読み違えます。

STEP3
訂正を出す

個別に返すか、公に出すかを、苦情の件数ではなく届いた範囲で決めます。文面には、正しい内容と、こちらが取る処置と、続報の期限を書きます。

STEP4
受け持ちを割る

相手と話す窓口、出す内容を決める判断、やりとりを残す記録。この3つを別の人に割ります。1人で持つと、記録が最初に抜けます。

STEP5
再発防止を決める

直せる原因と、生成の揺れのように直せない部分に分けます。直せない部分は、答えさせる範囲と確認の場所を決めて、運用の側で止めます。

この5つは、JIS Q 10002 が置いている運用の流れを、AIの回答という材料に当てはめて短くしたものです。規格の側には、受理・追跡・受理の通知・初期評価・調査・対応・決定の伝達・終了という段階が並び、受理の通知は直ちに行うこと、初期評価は重大性や安全性、複雑性といった観点で行うことが示されています。AI特有の事情が効くのは、このうち調査の手前です。調べるための材料が、待っていると消えるからです。

順番を入れ替えてよい場面は1つだけあります。相手に実害が出ていて、いま止められる場合です。誤った案内がいまも出続けているなら、保全より先に、その回答の経路を止めます。ただし止め方にも順番があり、設定を書き換えて止めるのではなく、公開そのものを一時的に閉じます。設定を直して止めると、原因だった設定が上書きされ、後から同じ状態を作れなくなるからです。

最初の1時間でやってはいけない3つ

初動の失敗は、悪意ではなく善意から起きます。早く直したい、早く謝りたい、早く原因を突き止めたい。動機はどれも正しいのですが、順番を守らないと、後から示せる材料が手元に残りません。次の5つは、受けた直後にやりがちで、やると取り返しがつきにくいものです。

  • 設定をその場で直す:原因だった設定が上書きされ、なぜそうなったかを後から示せなくなる
  • 対話の記録を消す、または画面を作り直す:残っていた唯一の材料が消え、範囲の確認そのものができなくなる
  • 受けた人がその場で原因を推測して答える:後の調査結果と食い違い、説明を2回訂正することになる
  • 範囲が分からないまま謝罪の文面を出す:想定より広く出ていた場合に、範囲を伏せたと受け取られる
  • 社内の連絡だけで済ませ、受け取ったことを相手に返さない:規格でも受理の通知は直ちにとされており、沈黙そのものが次の苦情になる

この5つに共通しているのは、まだ範囲が分かっていない段階で、範囲を前提にした動きをしていることです。1人からの連絡でも、同じ回答が百人に出ていることがあります。逆に、百人に出ていても内容は正しいことがあります。範囲と正誤は別の軸なので、両方が出るまでは、対外的な言葉を確定させない。これが初動の原則です。

実務としては、受けた人が最初にやることを2つだけに決めておくと動きます。受けた内容をそのまま書き取ることと、社内の窓口に渡すこと。受けた人がその場で原因を推測して答えない、という一行を先に決めておく。ここが決まっていないと、現場の判断で謝罪と釈明が同時に出て、後から両方を訂正することになります。

手順1 消えるものから順に押さえる

保全という言葉が固く聞こえるなら、写しを取る、と読み替えてかまいません。要点は消える速さの順に押さえることです。AIの回答をめぐる材料は、放っておくと、早いものは数時間で失われます。事故の調査で最も多い行き詰まりは、原因が分からないことではなく、確かめる材料がもう無いことです。

消える順番は、おおむね決まっています。最も早いのが、対話の画面に残っているやりとりです。保存の期間が短く設定されていることが多く、画面を作り直しただけでも消えます。次が設定で、気づいた担当者が善意で直すと、直った後の状態しか残りません。その次が指示文と参照先の資料。最後が提供元の側のモデルの版です。版は自社では止められないので、名前と日付を控えるしかありません

押さえ方にも型があります。画面の写しと、書き出した文字の両方を取ること。写しだけだと後から検索できず、文字だけだと表示のされ方が分かりません。加えて、誰がいつ取ったかを、同じ場所に書き添える。これがないと、後から見たときに、苦情が来る前の状態なのか後の状態なのかが判別できなくなります。

保全する対象を、4つに分けておく

対象を4つに分けておくと、慌てた場面でも抜けません。次の表は、押さえる対象と、放っておいたときに何が失われるかを並べたものです。苦情が来てから読む資料ではなく、来る前に1枚にして配っておく資料として使うことを想定しています。

押さえる対象具体的に何を放っておくと押さえ方
やりとりそのもの質問と回答の全文、日時、相手の識別、会話が続いた場合は前後のやりとり保存の期間の設定で古いものから消える。画面の作り直しでも消える画面の写しと書き出しの両方を取る。片方だけだと後で読めなくなる
そのとき動いていた設定参照先の資料、絞り込みの条件、回答の長さや口調の指定、公開していた範囲担当者が善意で直してしまい、直った後の設定しか残らない変更を一時的に止める。止められないなら、直す前の状態を控えてから直す
使っていたモデルと指示文モデルの名前と版、その日に渡していた指示文、参照していた資料の更新日提供元の側で版が上がり、同じ条件を作り直せなくなる版と日付を書いて控える。指示文は全文を写す。要約しない
どこまで出したか同じ回答を受け取った相手の数、転記された先、公開の場に載ったかどうか範囲が分からないまま訂正を出し、知らなかった相手に知らせる結果になる配信の記録と共有の履歴を先に出す。訂正の出し方はここで決まる

4行目が最も軽く見られて、最も後で効きます。どこまで出したかが分からないまま訂正を出すと、届いていなかった相手にまで知らせることになる。訂正を個別に返すか公に出すかは、この行から出る数字で決まります。先に範囲を出しておけば、訂正の判断で迷う時間そのものが消えます。

手順2 事実は、再現・時期・範囲の順で確かめる

確認の順番を変えると、読み違えます。最初は再現です。同じ質問を、同じ条件で投げて、同じ答えが返るかを見ます。ここで条件を揃えるために、手順1で控えた設定と指示文が要ります。控えていなければ、この時点で確認が止まり、以降の判断がすべて推測になります。

次が時期です。いつから出ていたかを見ます。参照先の資料を更新した日、設定を変えた日、提供元の版が上がった日。この3つの日付と、苦情の元になった回答の日時を1本の線に並べると、原因の候補はかなり絞れます。並べるだけで分かることが多く、分析の道具は要りません。表計算に4行書けば足ります。

最後が範囲です。同じ答えが他の人にも出ていたかを見ます。ここで1件だけの事故なのか、仕組みの側の問題なのかが分かれます。なお、再現できないことは珍しくありません。生成される文章は毎回同じにはならないからです。再現できなかった場合は、できなかったという事実と、試した回数と条件を記録に残します。再現できなかったことを、問題が無かったことの証明に使わない。これは後から最も強く効く一行です。

手順3 訂正は、届いた範囲に合わせて出す

訂正の出し方は、個別に返すか、公に出すかの2つです。判断の材料は同じ誤りが届いた範囲であって、苦情を言ってきた人の数ではありません。1人から連絡が来ているだけでも、同じ回答が広く出ていれば、公に出す側になります。逆に、強い口調の苦情が1件あっても、その人だけに出ていた回答なら、個別に返して終わります。

個別に返す場合に書くのは4つです。正しい内容、誤っていた箇所、その相手に起きる影響、こちらが取る処置。原因の説明は、確かめられた範囲だけを書きます。まだ調査中であれば、調査中であることと、いつまでに続報を出すかを書く。規格の側も、決定した事項と処置を迅速に伝えることを求めています。期限のない返答は、対応していないのと同じに見えます。

公に出す場合は、掲載する場所と期間を先に決めます。目立たない場所に短期間だけ出す形は、後から見つかったときに二次の苦情になります。加えて、訂正した後の正しい内容が、元の回答と同じ経路で届くかを確かめてください。元の回答は自動で届き、訂正は人が手で送る形になっていると、届く相手の数が最初から合いません。

訂正で使ってはいけない言い回し

言葉の選び方ひとつで、やりとりが1往復増えます。避けたい型は2つに分かれます。責任を道具の側に移す言い方と、確かめていないことを断定する言い方です。次の5つは、文面の下書きに出てきたら差し替える対象です。

  • 自動で出たもので、こちらの見解ではありません:出したのは自社なので、道具に預けた説明として読まれる
  • まれにこうしたことが起きます:頻度を確かめる前に頻度を断定しており、後から範囲が広がると説明全体が疑われる
  • 今後このようなことがないようにいたします:生成の揺れを消せるという約束になり、次に起きたときに約束違反として扱われる
  • 確認いたしますだけで期限を書かない:相手は待つ側から催促する側に回り、対応そのものが次の苦情の対象になる
  • ご迷惑をおかけしましたで終え、何が誤っていたかを書かない:訂正が届かないので、同じ質問が別の経路で戻ってくる

共通しているのは、相手が確かめようのないことを、こちらの都合で断定している点です。仕組みの性質を説明すること自体は問題ではありません。問題は置く位置です。先に事実と処置を書き、仕組みの説明は最後に短く添える。順番を入れ替えるだけで、同じ内容が弁明ではなく説明として読まれます。

もう1つ、期限を書かない返し方も避けます。確認しますという返答に日付がないと、相手は待つのをやめて催促する側に回ります。いつまでに何を返すかが書いてあれば、調査が終わっていなくても対応は進んでいる状態になります。規格が適時性を原則の1つに挙げているのは、この効き方のためです。

手順4 窓口と判断と記録を、別の人に割る

ここから社内の話です。1人で全部を持つと、必ずどこかが抜けます。割り方は3つで足ります。相手と話す窓口、出す内容を決める判断、そしてやりとりを残す記録。この3つを別の人に割ります。役職で決める必要はありません。誰がどれを持つかが決まっていることのほうが効きます。

窓口は1人に固定します。複数人が別々に返すと、言っていることが少しずつ違い、その食い違い自体が次の苦情になります。判断は、訂正の範囲と公表の有無を決める役です。窓口の人が判断まで持つと、相手の勢いに引きずられた約束が出ます。記録は、やりとりと決めたことを時系列で残す役です。話す人と書く人を分けるのが要点で、話しながら書くと、後半が必ず薄くなります。

3人を割けない規模なら、窓口と記録を同じ人にし、判断だけを別の人に置くのが現実的です。判断を分ける理由は、後から見たときに、誰が何を根拠に決めたかが残るからです。AI事業者ガイドラインも、活用を始めた後に出力の品質が大きく変わりうることを踏まえて、事後の検証のために作業の記録を残すことを求めています。決めた人と決めた日が書かれていない記録は、後から読めません。

個人情報にかかわる苦情は、別の時計で動く

AIの回答に他人の情報が混ざっていた、自分の情報が別の人に出たようだ、という内容の苦情は、扱いが変わります。個人情報保護法は第40条で、個人情報の取扱いに関する苦情の適切かつ迅速な処理に努めることと、そのために必要な体制の整備を定めています。速さの求められ方が、他の苦情と違います。

体制の整備として示されているのは3つです。苦情処理の窓口を設けて担当者を決めておくこと、苦情処理の手順を定めること、処理にあたる従事者の研修を行うこと。苦情が来てから体制を作ろうとすると、この3つが同時に発生します。先に1枚作っておけば足りるので、AIを外向きに使い始める前に済ませておく部類の作業です。

実務で分かれ目になるのは、漏れた可能性がある情報の範囲です。範囲が確定するまでは、確定していないことを確定していないと書きます。範囲が分からない段階で問題ないと言い切ると、後から範囲が広がったときに最初の説明ごと否定される。加えて、個人の情報を含むやりとりを保全するときは、写しの置き場所と、それを見られる人を先に決めておいてください。保全した写しが新しい漏れの経路になる、という事故が起こりえます。

手順5 再発防止は、直せる原因と直せない揺れに分ける

最後の手順です。ここで多いのが、全部を直そうとして、結局どれも直らない形です。原因は2つに分かれます。設定や資料のように直せば再現しなくなるものと、生成そのものの揺れのように、どれだけ手を入れても残るものです。先に分けないと、対策の一覧だけが長くなります。

直せるものは、意外なほど具体的です。参照先の資料が古い。資料に書かれていない範囲まで答える設定になっている。絞り込みの条件が緩く、関係のない資料を引いている。公開の範囲が想定より広い。指示文に、分からないときにどう返すかが書かれていない。この5つは、直せば同じ誤りが再現しなくなります。苦情の多くは、このどれかに当たります。

直せないのは、同じ質問に対して毎回まったく同じ文章が返るわけではない、という性質の部分です。ここを技術で潰そうとすると、際限がありません。揺れは無くすものではなく、出てもよい場所に閉じ込めるもの。閉じ込め方は3つあり、次の節で順に挙げます。どれも設定の話というより、運用の決めごとです。

揺れを、運用の側で止める3つの置き方

1つ目は、答えさせる範囲を狭くすることです。参照する資料を限定し、そこに書かれていないことは分からないと返す形にします。範囲を広く取るほど、それらしい作り話が混ざる余地が増えます。狭くすると答えられない質問が増えますが、答えられないことは苦情になりにくく、誤って答えることは苦情になります。

2つ目は、出す前に人が読む場所を決めることです。全部を読む形は続きません。金額、期限、数量、可否のいずれかが入る回答だけを人が読む、という線引きにすると、確認の量が現実的な範囲に収まります。苦情になりやすいのは、まさにこの4つを含む回答です。含まないやりとりは、記録が残っていれば後から追えます。

3つ目は、回答に根拠を添えさせることです。どの資料のどこを見たかを併記させると、読む側が自分で確かめられます。根拠が書けない質問には答えさせない、という置き方にすると、確認の手間そのものが減る。加えて、AIが作った回答であることを画面に示しておくと、冒頭に挙げた3つ目の型、つまり人ではなく機械が答えたこと自体への抗議が減ります。

苦情1件を、後から並べられる形にする

記録の目的は2つあります。1件を正しく終わらせることと、複数の件を並べて傾向を見ることです。2つ目のために、項目を揃えます。揃っていない記録は、3件目までは読めますが、30件になると誰も読みません。読まれない記録は、書く手間だけが残ります。

項目は8つで足ります。受けた日時、受けた経路、相手が求めた解決策、対象になった回答の日時、再現できたかどうか、決めた対応、伝えた日時、直した内容。規格の側も、受理の段階で最初の情報と識別コードを記録すること、苦情の記述、要求された解決策、対応の期限、即時にとられた処置を残すことを挙げています。項目名を合わせておくと、後から探す時間が短くなります。

並べて見るのは、四半期に一度で足ります。見るのは件数ではなく、同じ原因が2回以上出ているかどうかです。2回出た原因には、3回目が来ます。1件ごとの対応が丁寧でも、原因が繰り返されている限り苦情の総数は減らない。規格も、苦情の再発と発生を予防するために、潜在的な問題の原因を除去する処置を取ることを求めています。

苦情が来る前に決めておける4つ

ここまでの手順は、来てから始めても回ります。ただし4つだけは、先に決めておくと速度がまったく変わります。受付の入口、一次回答の期限、保全の担当、公表の判断者の4つです。どれも会議1回で決まる内容で、文書は1枚で足ります。

受付の入口は、どこに来た連絡を苦情として扱うかの線引きです。問い合わせ欄、営業の担当者、対話の画面、交流サイト。入口が複数あるのは構いませんが、集める先が1つでないと、同じ件が二重に動きます。一次回答の期限は、内容の如何にかかわらず、受け取ったことを返す期限です。規格では受理の通知は直ちにとされています。

保全の担当は、手順1を実際に実行できる権限を持つ人です。設定や記録に触れられない人を担当にすると、書類の上だけの担当になります。公表の判断者は、公に出すかどうかを決める人です。公表の判断者を先に決めていない会社ほど判断が遅れ、遅れたこと自体が二次の苦情になる。なお、人工知能関連技術の研究開発及び活用の推進に関する法律は2025年6月4日に公布され、同年9月1日に全面施行されましたが、事業者に向けた条項は活用事業者の責務にとどまり、罰則を伴う規制にはなっていません。だから社内で引いた線が、そのまま自社の基準になります

AIに任せてよい範囲と、人が決める範囲

苦情対応そのものにAIを使う場面も増えています。使える場所は限られますが、確かにあります。受けた内容の要約、過去の似た苦情の洗い出し、訂正文の下書き、記録の項目を埋める作業。どれも材料がすでに手元にある作業です。材料が無いところで使うと、もっともらしい空白の埋め方が返ってきます。

  • 苦情の内容の要約と、過去の似た事例の洗い出しは任せてよい。ただし要約が落とした条件は、元の文で人が確かめる
  • 訂正文は下書きまで。出す前に、事実の正誤と、約束している範囲の2点だけを人が読む
  • 公表するかどうかと、相手に何を約束するかは、記録に書かれていない材料で決まる。人が決め、決めた人と日付を残す
  • 苦情のやりとりに個人の情報が含まれる場合は、入力した内容が学習に使われない設定かを先に確かめる

任せてはいけないのは、相手にどう返すかの判断と、公表するかどうかの決定です。この2つは、記録に書かれていない材料で決まります。相手との取引の経緯、その業界の慣行、同じ時期に動いている別の案件。名簿にも履歴にも書かれていないものが効きます。書かれていない材料で決まる判断を、書かれた材料から出た文章に委ねない。ここを外すと、丁寧な文面のまま、約束してはいけないことを約束します。

線引きを先に決めておくと、確認そのものが短くなります。下書きまでは任せ、出す前に人が読む。読む人が見るのは、事実の正誤と、約束している範囲の2点だけ。この2点に絞れば、確認は数分で終わります。確認の範囲を決めないまま使うと、結局すべてを読み直すことになり、使った意味が消えます

よくある質問

苦情を言ってきたのが1人だけでも、公表すべきですか

判断の材料は、苦情の件数ではなく、同じ誤りが届いた範囲です。1人からの連絡でも、同じ回答が広く出ていたなら公に出す側になります。逆に、その人だけに出た回答であれば、個別に返して終わります。範囲が分からないうちは、どちらとも決めないでください。先に決めてしまうと、後から範囲が広がったときに、最初の判断ごと説明し直すことになります。

AIが作った回答だったことを、相手に伝えるべきですか

伝えたほうが安全です。ただし、伝える位置が重要です。冒頭に置くと、責任を道具に預けた説明として読まれます。正しい内容と取る処置を先に書き、仕組みの説明は最後に短く添える。この順にすれば、同じ事実が弁明ではなく説明として届きます。なお、画面の側にあらかじめ示しておけば、後から伝える必要そのものが減ります。

再現できなかった場合、対応を終えてよいですか

終えてはいけません。生成される文章は毎回同じにはならないので、再現できないことは珍しくありません。記録に残すのは、再現できなかったという事実と、試した回数、そのとき使った条件です。そのうえで、同じ質問が来たときに人が読む対象に入れる、参照先の資料を1つ絞る、といった運用の手を打ちます。再現しなかったことを、問題が無かった証拠には使えません。

外部の道具をそのまま使っている場合、提供元にはどこまで確認を求められますか

事実確認に要る情報までは、求める価値があります。具体的には、その期間にモデルの版が変わったかどうか、同種の不具合が既知として公表されているかどうか、こちらの設定で再現を試す手順があるかどうかの3つです。契約や窓口によって返ってくる範囲は変わりますが、聞かないと分かりません。ただし、回答を待っている間も、自社側の保全と一次回答は止めないでください。

まとめ

苦情が来たときに最初にやることは、原因を突き止めることでも、誰の落ち度かを決めることでもありません。消える材料を押さえ、相手が求めている解決策を書き取る。この2つが最初の1時間の仕事です。そのうえで、再現・時期・範囲の順に事実を確かめ、届いた範囲に合わせて訂正を出し、窓口と判断と記録を別の人に割り、直せる原因と直せない揺れを分ける。5つの手順はこれだけです。今日できることを1つ挙げるなら、保全する4つの対象を1枚の紙にして、問い合わせを受ける人の手元に置いてください。苦情が来た日に探し始める資料は、間に合いません。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。

AIの導入・活用、何から始めるべきかお悩みですか?

デボノはアカウント開設・初期設定など「そもそものAI導入」から社内定着まで伴走支援。マーケティング活用など一歩進んだご相談にも対応します。

運営会社:株式会社デボノ

目次