Rasaで顧客対応AIの勝手な回答を防ぐ方法｜手順と自由会話の分け方

「問い合わせ窓口にAIを置きたいが、値引きや解約の条件を勝手に答えられたら困る」「生成AIの会話は自然だけれど、同じ質問に毎回違うことを言う」——顧客向けの会話AIを検討するBtoB企業の窓口担当や情シスから、こうした声が繰り返し聞かれます。ドイツと米国に拠点を持つ Rasa は、2026年10月の公式ブログで、会話AIの振る舞いを業務ごとに「完全に決まった手順」から「自由な会話」まで段階的に決めるという考え方を示し、9月には新しい中核の Mantle を発表しました。勝手な回答を防ぐ鍵はAIの性能ではなく、業務ごとにどこまで自由を与えるかの設計です。この記事では、BtoBの問い合わせ窓口を例に、手順に固定すべき業務の選び方、言ってはいけないことの決め方、人への引き継ぎ、公開前の試験と承認、開発の持ち分、費用とやめ方を整理します。

Rasa は、顧客向けの会話エージェントを作る基盤

Rasa は、企業が自社の顧客向けに会話のエージェントを作るための基盤です。チャットや音声の窓口で、問い合わせへの回答、手続きの受付、担当者への引き継ぎなどを担うエージェントを、自社の要件に合わせて組み立てます。公式サイトでは、LLMに決まった流れ、確定的な処理、会話が崩れたときの立て直しの型を組み合わせて広げると説明しており、この設計を CALM と呼んでいます。

CALM について同社は「LLMの柔軟さに、確定的な処理の確かさを足す」と説明しています。つまり、会話の受け答えはLLMに任せつつ、本人確認や手続きの順番のように外してはいけない部分は、あらかじめ書いた流れで必ず進める仕組みです。汎用のチャットAIに長い指示文を書いて「必ずこの順番で」と頼む方法とは、守らせ方が指示のお願いか、仕組みの強制かという点で違います。

公式の料金ページでは、無料の開発者向けの版（1社1つのエージェント、月に社外向け1,000件・社内向け100件の会話まで）と、問い合わせで見積もる企業向けの版を案内しています。置き場所は、自社の設備や自社の専用クラウドで動かす形と、同社が運用する形から選べます。2026年7月には技術者向けの学習講座を始めるなど、作り手を育てる取り組みも続けています。

顧客向けの窓口で見落とせないのが、会話の中身がどこへ流れるかです。顧客が入力した文章は、エージェントの置き場所に記録されるだけでなく、自由に話させる部分では外部のLLMの提供元にも送られます。自社の設備や専用クラウドに置く形を選べば会話の記録は手元に残せますが、どのLLMを使うかで外に出る範囲は変わります。2026年9月には、データを自社や自国の管理下に置くことを購買の判断として扱うための確認表を公式ブログで示しており、置き場所とLLMの選び方は同社自身も重く見ている論点です。

2026年9月の「新しいRasa」：Mantle と量産の考え方

2026年9月28日、Rasa は公式ブログで「新しいRasa」を発表しました。中心にあるのが、エージェントの振り分けを担う新しい中核の Mantle です。同社の説明では、Mantle によって普通の言葉でエージェントを作り、試験し、安全に変更を出し、実際の会話から改善することができます。9月30日にはこれを実演する公開のデモも行いました。

この発表で同社が強調したのは、エージェントを一つずつ作る「基盤」から、共通の部品の上に次々と作る「工場」への転換です。中央の担当チームが共通の部品・基準・安全の決まりを持ち、各部署の作り手（技術者でない人も含む）がその上に新しいエージェントを作る形で、各部署で作る自由と、中央での統制を両立させることを狙いとしています。作り手は、端末の操作画面、エージェント型の開発環境、見た目で組み立てる画面のどれからでも作業できると説明しています。

エージェントの基盤をクラウド型のサービス、自社クラウドに置く基盤、自社開発で比べる話は別の記事で書きました。ここで扱うのは、どの形を選ぶにせよ顧客向けの会話AIで避けて通れない、手順に縛る部分と自由に話させる部分の分け方です。Rasa はこの分け方を製品の中心に置いているので、考え方の例として分かりやすいのです。

旧来のオープンソース版は保守のみ——いま見るべきこと

Rasa は、もともとオープンソースの会話AIの枠組みとして広く知られていました。GitHub の公開の置き場では、この旧来の版について「現在は保守のみ」と明記し、今後の中心は CALM を使った新しい形だと案内しています。旧来の版は使用の条件が緩い Apache の許諾で公開されていますが、新しい機能はもう足されない前提で考える必要があります。

過去に旧来の版で窓口の会話AIを作った企業は、そのまま使い続けるか、新しい形に移るかを判断する時期に来ています。旧来の版は、会話の意図を分類して決まった応答を返す作りが中心で、LLMを前提にしていません。保守のみの状態で顧客向けの窓口を動かし続けると、安全上の修正が止まったときに困ります。社内に旧来の版が残っていないか、まず棚卸しをしておきます。

• 社内に旧来の版で作った会話AIが残っていないか、窓口ごとに洗い出す
• 残っている場合は、誰が保守し、最後にいつ更新したかを確かめる
• 顧客の情報を扱っているものから順に、移行か停止かを決める
• 移行する場合も、旧来の会話の流れはそのまま写さず業務ごとに線を引き直す

新しく検討する企業にとっては、昔の解説記事やサンプルの多くが旧来の版を前提にしている点に注意が要ります。日本語の情報はとくに古いものが多く、いまの CALM や Mantle の考え方とは作りが違います。検討の材料は、公式の説明と2026年以降の公式ブログを基準にしてください。

シナリオ：BtoBの問い合わせ窓口に会話AIを置く

ここからは、産業機器のメーカーが自社サイトと顧客向けの専用画面に、会話AIの窓口を置く場面を仮の例として追います。窓口に来る用件は、製品の仕様の質問、資料請求、見積もりの依頼、保守契約の内容の確認、契約の変更や解約の相談、故障の受付などです。担当は営業管理、カスタマーサポート、法務、情シスにまたがります。

この窓口で避けたいのは、たとえば次のような事態です。顧客に聞かれるままAIが値引きの可能性を匂わせる。保守契約の対象外の修理を「対象です」と答える。本人確認の前に契約の内容を話してしまう。解約の相談に引き止めの条件を勝手に作って示す。どれも、AIの答えが会社の約束として受け取られる危険をはらみます。誤答の責任の一般論は別の記事に譲り、ここでは設計で防ぐ方法に絞ります。

一方で、すべてを決まった流れで縛ると、製品の仕様の質問のように言い回しが毎回違う用件に対応できず、利用者は結局電話をかけてきます。窓口の会話AIの価値は、自由に話してよい用件では柔軟に、縛るべき用件では確実にという使い分けができるかどうかで決まります。

設計に入る前に、いまの窓口に来ている問い合わせを3か月分ほど用件ごとに数えておきます。どの用件が何割を占め、そのうちどれだけが定型の受付で済み、どれだけが担当者の判断を要したか。件数の多い定型の用件から会話AIに任せるのが、費用の面でも危険の面でも筋のよい始め方です。数えた結果は、公開後に効果を測るときの比較の基準にもなります。

「勝手な回答」はどこで起きるか

顧客向けの会話AIの勝手な回答は、モデルの気まぐれだけで起きるわけではありません。多くは、言ってよい範囲が決まっていない、根拠の資料が古い、手順の途中で会話が脇道にそれた、といった設計の穴から生まれます。シナリオの窓口で起きやすい失敗を挙げると次のとおりです。

• 料金表にない値引きや特別条件を、会話の流れで約束してしまう
• 本人確認の前に、契約の内容や過去の問い合わせ履歴を話してしまう
• 契約変更の途中で顧客が別の質問をすると、手順が途切れて確認が抜ける
• 古い製品資料をもとに、販売終了した型番の仕様を答える
• 答えられない質問に、それらしい推測で答えて人に回さない

これらを見ると、指示文で「勝手なことを言うな」と書くだけでは防げないものが多いことが分かります。順番が崩れる、確認が抜けるといった失敗は、会話の流れそのものを仕組みで固定しないと止まりません。逆に、古い資料の問題は仕組みではなく資料の管理の問題です。原因ごとに打ち手を分けて考えます。

手順に固定する業務の選び方：4つの合図

Rasa は2026年10月28日の公式ブログで、エージェントが受け持つ一つひとつの仕事を「スキル」と呼び、スキルごとに制御の強さを決める考え方を示しました。どのスキルを固定するかを決めるときに有効な問いとして、同社は「その仕事が何に関わり、うまくいかなかったら何が起きるか」を挙げています。そのうえで、制御を強めるべき合図を四つ示しています。

1. お金、個人情報、アカウントの操作が関わる
2. 規制当局・契約・法務が、正確な文言を気にする
3. 手順の順番に意味がある（本人確認の前に契約内容を見せない、など）
4. 件数が多く、小さな誤りの率でも積み重なる

逆に、手数料の説明や拠点の案内のように影響の小さい仕事は自由なままでよく、言い回しが変わることはむしろ利点だとしています。同社の例では、銀行の窓口で手数料の説明や支店の案内は自由、紛失したカードの再発行は中間、取引への異議申し立てはほぼ固定、送金は完全に固定です。一つのエージェントの中に、固定の度合いが違う仕事が並んでいてよいというのが要点です。

シナリオの窓口で業務ごとに線を引く

4つの合図を、シナリオの問い合わせ窓口の用件に当てはめると、次のように整理できます。誰が線を決めるかも合わせて書いておくと、後で揉めません。

用件	固定の度合い	理由	線を決める人
製品の仕様の質問	自由（根拠の資料を示す）	言い回しが毎回違う。根拠は公開資料に限る	製品の担当
資料請求	中間（必要な項目は必ず聞く）	連絡先など必須の値がある	マーケ
見積もりの依頼	固定（受付まで。金額は答えない）	お金が関わる	営業管理
保守契約の内容確認	固定（本人確認が先）	契約と個人情報が関わり、順番に意味がある	カスタマーサポート
契約の変更・解約	固定（受付と確認の文言は決まった形）	契約と文言が関わる	法務・営業管理
故障の受付	中間（症状は自由に聞き、受付番号の発行は固定）	件数が多く、記録の抜けが積み重なる	カスタマーサポート

表で大事なのは、「固定」の業務でもAIが何もしないわけではない点です。顧客の言葉から用件を聞き取って正しい手順に振り分けるところはLLMの得意分野で、振り分けた後の進め方を仕組みで縛るのが基本の形になります。また、見積もりや解約のように最終的に人が判断する業務では、AIの役割は受付と必要な情報の聞き取りまでにとどめます。

手順に固定するときの4つのきまり

同じ10月の公式ブログで、Rasa は手順を守らせるための「きまり」を四つの型で説明しています。これらは枠組みの側で強制されるので、モデルが飛ばしたり、言い換えたりできないとしています。一般的なAIの安全対策が入力と出力のまわりに置く検査であるのに対し、会話の流れそのものに組み込む点が違います。

きまりの型	中身	シナリオでの使いどころ
必須の値	特定の情報がそろうまで先に進まない	保守契約の確認で、契約番号と登録の連絡先がそろうまで内容を話さない
確認の手順	実行する内容を要約し、はっきりした了承を待つ	契約変更の受付で、変更内容を読み上げて了承を得てから登録する
正確な文言	決まった文言をそのまま伝える	解約の受付で、法務が決めた注意事項を一字一句そのまま示す
厳密な順番	手順を決まった順に進める	本人確認の後でなければ契約内容に進まない

同社は、きまりは一つずつ足していけばよく、スキルを書き直す必要はないと説明しています。また、最初は自由に作って早く利用者に出し、実際の会話から必要なところにきまりを足すほうがよいとも述べています。どこで問題が起きるかの事前の予想は外れることが多い、という理由です。ただし、お金や契約が絡む業務は、公開の時点で固定しておくのが安全です。

言ってはいけないことを決める

手順の固定と並んで先に決めておくのが、自由に話してよい業務の中でも言ってはいけないことの一覧です。シナリオの窓口なら、料金表にない金額・値引き・納期の約束、保守の対象かどうかの最終判断、他社製品との比較の評価、法的な見解などが候補になります。答えさせない項目の考え方は別の記事に一覧でまとめています。

一覧は、法務と各業務の持ち主が決め、エージェントを作る人に渡します。会話AIの側では、これらの話題に入ったら決まった案内文を返して人に回す、という流れにしておきます。自由な会話の部分では、答えの根拠になった資料を示させ、資料に無いことは答えないという指示を基本にします。根拠を示せない答えは、窓口の担当者が後から確かめることもできないからです。

言ってはいけない一覧は、禁止の話題だけでなく話し方の禁止も含めます。たとえば「必ず」「無料で」「すぐに」のような断定の言い回しは、窓口の約束として受け取られやすい言葉です。自由に話させる部分の指示に、こうした断定を避け、条件のある話は「担当者から正式にご案内します」に置き換える決まりを入れておくと、誤解の芽を減らせます。

根拠の資料そのものの管理も欠かせません。製品資料が古いままなら、仕組みがどれほど正しくても答えは古くなります。どの資料を正本とし、誰がいつ更新するかを決め、販売終了した製品の資料は会話AIが読む場所から外す運用にします。

人に引き継ぐ条件

会話AIの窓口で最も大事な設計の一つが、人への引き継ぎです。引き継ぎの条件を決めていないと、AIは答えられない質問にも何とか答えようとし、それが勝手な回答になります。シナリオの窓口では、引き継ぎの条件を次のように決めておくと運用しやすくなります。

• 言ってはいけない一覧の話題に入ったとき
• 顧客が担当者との会話を求めたとき（何度も聞き返さない）
• 本人確認が規定の回数で通らなかったとき
• 同じ質問の言い換えが続き、会話が進んでいないとき
• 苦情・事故・法的な請求を思わせる言葉が出たとき

引き継ぐときは、それまでの会話の要約、聞き取った値、どの条件で引き継いだかを担当者に渡し、顧客に同じ説明を繰り返させないようにします。Rasa は会話の崩れに備えた立て直しの型を組み込みで持つと説明していますが、どの窓口の誰に、どの時間帯につなぐかは自社の体制で決まります。夜間や休日にどう案内するかも含めて、窓口の担当と決めておきます。引き継ぎの件数が想定より多い時期は、担当者の人数が足りるかも合わせて見直します。会話AIを置いたことで、かえって人の窓口が詰まる事態は避けなければなりません。

公開前のシミュレーション試験

9月に発表された Mantle について、Rasa は数百の模擬の顧客を相手にエージェントを自動で評価し、すでに動いている部分を壊さずに変更を出せると説明しています。顧客向けの会話AIは、手で数十件の会話を試しただけでは、言い回しの違いや脇道にそれる会話への弱さが見つかりません。模擬の顧客で多くの会話を流して確かめる仕組みは、公開前の試験に欠かせません。

試験の中身は、自社の業務を知っている人が決めます。たとえば、値引きを何度も求める顧客、本人確認の途中で別の質問をする顧客、販売終了した型番を聞く顧客、怒っている顧客、日本語と英語を混ぜる顧客。こうした意地の悪い会話の型を、窓口の担当者が過去の問い合わせから拾って一覧にします。試験の合否の基準は、AIではなく業務の持ち主が書きます。

試験で見る数字も決めておきます。引き継ぐべき会話を正しく人に回せた割合、固定の手順を最後まで進められた割合、言ってはいけない一覧の話題に入った会話で決まった案内文を返せた割合などです。会話の自然さより、これらの数字を合否の中心に置きます。顧客向けの窓口では、感じのよい誤答より、ぎこちなくても正しく人に回る会話のほうが価値があるからです。

模擬の試験に通っても、本番の会話には想定外の用件が必ず出てきます。公開後の一定期間は、AIが受けた会話の一部を担当者が読み、引き継ぐべきだったのに答えてしまった会話がないかを確かめます。見つかった型は試験の一覧に足し、次の変更から自動で確かめられるようにします。

誰が承認して公開するか

Mantle の発表では、中央のチームが共通の部品・基準・安全の決まりを持つと説明していますが、具体的な承認の流れまでは示していません。承認の段取りは自社で決める必要があります。シナリオの窓口なら、次の順番が一つの目安です。

承認の記録は、会話AIの版ごとに残します。どの版で、どの用件の線を、誰が承認し、どの試験に通ったか。顧客から「以前は違う説明を受けた」と言われたとき、その時点の版と承認の記録をたどれれば、何が起きたかを説明できます。変更を素早く出せる仕組みほど、いつ何が変わったかの記録が欠かせません。

大切なのは、作った人と承認する人を分けることです。各部署が自分でエージェントを作れるようになるほど、作った本人がそのまま公開してしまう流れが生まれやすくなります。変更のたびに業務の持ち主の承認と試験を通す決まりを、最初から入れておきます。

開発の内製と外注の持ち分

Rasa は技術者向けの作り込みができる基盤で、Mantle によって技術者でない作り手も普通の言葉で作れる方向に進んでいます。それでも、顧客の情報を引くための社内の仕組みとの接続、本番の置き場所の運用、試験の自動化は技術の仕事です。社内に技術者がいない企業は、どこまでを外部の開発会社に任せ、どこを自社で持つかを最初に分けておく必要があります。

外注してよいのは、接続や置き場所の構築、試験の仕組み作りといった技術の部分です。一方、固定の度合い、言ってはいけない一覧、引き継ぎの条件、試験の合否の基準は、業務を知っている自社の人が持つべき部分で、外部に任せると自社の約束を外部が決めることになります。外注する場合も、これらの決定は自社の承認を経る契約にしておきます。

自社で作り手を育てたい場合は、同社が2026年7月に始めた技術者向けの実践の学習講座が入り口になります。ただし、講座で学べるのは基盤の使い方であり、自社の業務のどこを固定すべきかは教えてくれません。外注する場合でも内製する場合でも、業務の線を引く力は自社の窓口の経験から育てるものです。

もう一つ、運用を誰が続けるかも決めておきます。会話AIは公開して終わりではなく、新製品の追加、料金の改定、規程の変更のたびに資料ときまりを更新します。外注先が構築だけを請け負い、運用が宙に浮くと、資料が古いまま答え続ける窓口が残ります。運用の担当者を自社に一人置くことが、外注の場合でも欠かせません。

費用の増え方とやめ方

公式の料金ページでは、無料の開発者向けの版は会話の件数で上限を決めており、企業向けの版は問い合わせで見積もる形です。企業向けの料金の決まり方は公表されていないため、会話の件数、エージェントの数、置き場所の形で費用がどう変わるかを見積もりの段階で確かめます。音声の窓口につなぐ部品の一部は追加の購入になると案内されています。

これとは別に、LLMの利用料が会話の量に応じてかかります。自由に話させる部分が多いほどLLMを呼ぶ回数は増え、手順に固定した部分は少なくて済む傾向があります。費用の面からも、件数が多く定型的な用件は固定に寄せるのが合理的です。さらに、外注の開発費と運用の人件費が乗るので、試算は利用料だけでなく全体で行います。

やめ方として、窓口を閉じたときに顧客をどこへ案内するか（問い合わせのフォームや電話）を先に決めておきます。会話の流れ、きまり、言ってはいけない一覧、試験の一覧は、自社の資料として書き出して持っておくと、別の基盤に移るときにそのまま使えます。会話の記録には顧客の情報が含まれるので、保存期間と削除の手順も契約の前に確かめておきます。

公開後の見直し：自由な部分を絞るか広げるか

公開してからが本番です。月に一度、引き継ぎになった会話、顧客が途中で離れた会話、担当者が訂正した回答を見て、固定の度合いを見直します。自由に話させていた用件で誤りが続くなら、きまりを足して固定に寄せます。逆に、固定していた用件で顧客が何度も聞き返して離れているなら、言い回しの部分だけ自由に戻す余地があります。

見直しの場には、窓口の責任者、業務の持ち主、作り手、情シスが集まり、変更の候補を決めて、承認と試験の段取りに乗せます。Rasa が示す「必要なところにだけきまりを足す」考え方は、この見直しの会議があって初めて機能します。AIに会話の傾向をまとめさせるのはよいとしても、どの用件を固定に寄せるかを決めるのは人です。

効果は、公開前に数えた用件ごとの件数と比べて測ります。会話AIで完結した件数だけを見ると、無理に答えて完結させた会話まで成果に数えてしまいます。完結した件数と、後から担当者が訂正した件数、顧客が電話でかけ直してきた件数を並べて見ることで、本当に窓口の負担が減ったのか、問題を先送りしただけなのかを見分けられます。数字が悪化した用件は、自由の幅を広げすぎていないかを最初に疑います。

まとめ

顧客向けの会話AIの勝手な回答は、賢いモデルを選ぶだけでは防げません。Rasa は、決まった手順を必ず守らせる部分とLLMに自由に話させる部分を、一つのエージェントの中で業務ごとに分ける設計を取り、2026年9月には中核の Mantle と、模擬の顧客での試験や中央での統制を打ち出しました。旧来のオープンソース版は保守のみなので、検討の材料は最新の公式の説明を基準にします。お金・個人情報・契約が絡む業務、文言や順番が決まっている業務、件数の多い業務は手順に固定し、言ってはいけないことと人への引き継ぎの条件を先に決めてください。公開前は業務の持ち主が書いた基準で試験し、作った人とは別の人が承認して出します。AIには根拠の資料を示させ、契約や例外の判断はさせない。この線を守ることが、窓口の会話AIを長く使い続ける前提になります。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。