電話AIをCekuraで公開前に試す方法｜合格の線と止める人

「公開前に社内で何十回も電話をかけて試したのに、本番では言い直しの多いお客様に答えられず、苦情になった」「おかしな答えをしたら止める、と決めたものの、誰が何を見て止めるのかは決まっていない」——問い合わせ窓口に音声AIやチャットAIを入れた企業で、公開の前後に繰り返し出てくる声です。試した回数が足りなかったのではありません。足りなかったのは、本番の相手の多様さを再現した試験と、合格と停止の線を持つ人です。この記事では、米国の Cekura という試験と監視の基盤を例に、窓口のAIを公開する前に模擬の相手で何を試すか、合格の線を誰が決めるか、日本語での試験の限界、公開後に何を見て誰が止めるか、試験に使う通話データをどう扱うかを、課題・原因・対策の順に整理します。

Cekura は、窓口のAIを模擬の相手で試し、公開後も見張る基盤

Cekura は、電話やチャットで顧客と話すAIエージェントを、公開前に試験し、公開後に監視するための基盤です。米国の起業支援プログラムの2024年秋の採択企業で、2025年6月に240万ドルの資金調達を公表しています。AIエージェントそのものは作らず、他社の基盤で作られた窓口のAIに、模擬の電話をかけて会話を採点する側を受け持ちます。公式ブログでは、音声AIの構築基盤の多くと連携できると説明しています。日本語の解説記事はまだほとんどありません。

中核は三つです。一つ目は、話し方や感情を設定した模擬の相手に台本どおりの用件を話させ、窓口のAIが正しく対応できたかを採点する筋書きの試験。二つ目は、差別的な発言や暴言、指示の乗っ取りを仕掛ける攻撃の試験。三つ目は、公開後の実際の通話を指標で採点し続ける監視です。公式ブログでは、電話回線、ブラウザの通話、ショートメッセージなどの経路で監視できるとしています。

電話の一次対応をAIに任せる範囲や、取り次ぎの設計そのものは別の記事で扱いました。また、変更のたびに壊れていないかを確かめる回帰テストの一般論も別の記事にあります。ここで扱うのは、任せると決めた窓口のAIを、公開してよいかどう確かめ、公開後にどう止めるかです。

2026年の動き：多言語の試験、MCP、通話分析、ベンチマーク

公式ブログを日付順に追うと、2026年3月に攻撃の試験の解説、4月20日に30以上の言語となまり・人柄を設定した試験の解説を出しています。後者では、日本語を含む32言語に対応し、一つの通話の中で言語を切り替える試験もできると説明しています。5月26日には、開発者が使うAIのコーディング道具から試験を走らせ、定期実行を組み、結果を読める MCP サーバーを公開しました。

7月7日には通話分析の機能を紹介しました。一定期間に採点で不合格になった通話を抜き取りではなく全部集め、AIが「一つの直し方で全部が直るか」という基準で失敗の型にまとめ、型ごとに実際の通話を証拠として添えるという仕組みです。10月15日には、自社の公開ベンチマークについて、モデル単体ではなく、電話の経路を含めた窓口のAI全体を模擬通話で試すという考え方を示しました。予約受付と医療保険の受付の82の筋書きを各3回、合計で3,198本の通話を使ったと説明しています。

この並びから読み取れるのは、同社が「公開前の一度きりの試験」から、変更のたびに自動で回る試験と、公開後の失敗を次の試験に戻す循環へ重心を移していることです。ただし、ここに並べた機能と数字はいずれも同社の公式ブログの説明で、第三者が検証したものではありません。

課題1：社員の試し電話では、本番の相手が再現できない

窓口のAIの公開前の試験は、多くの場合、担当者や開発会社の社員が電話をかけて確かめる形で行われます。ところが社員は、用件をはっきり言い、言い淀まず、AIの返事を最後まで待ちます。本番の相手は違います。言い直す、途中で割り込む、後ろでテレビや車の音がする、早口で怒っている、聞いたことのない地名や商品名を言う。AIが崩れるのは、こうした条件が重なったときです。

もう一つの限界は量です。人が試せるのは数十本が限度で、組み合わせを網羅できません。同じ用件でも、話し方・感情・騒音の組み合わせを変えれば、試すべき通話は何百本にもなります。一人が十回かけた試験は、十通りの相手を試したことにはなりません。Cekura のような基盤が模擬の相手を機械で作るのは、この組み合わせを人の手で作れないからです。

電話ならではの条件もあります。回線の途切れや遅れ、相手が無言になる時間、番号を押す音、留守番電話への切り替わりなどです。同社のブログでは、通信の遅れや欠けを加えた試験や、留守番電話の判定の試験も扱っています。社内の安定した回線からかけた試し電話では、こうした条件はほぼ起きません。

課題2：合格の線が決まらないまま、公開日が来る

試験を回しても、どの結果なら公開してよいかが決まっていなければ、判断できません。よくあるのは、開発会社が「九割以上の通話で用件を完了できた」と報告し、窓口の側がその数字の意味を確かめないまま公開する流れです。残りの一割がどんな相手で、どんな失敗をしたのかが分からなければ、その一割に高齢の顧客や怒っている顧客が集中している可能性を否定できません。

合格の線は、用件の完了率だけでは決まりません。言ってはいけないことを一度でも言ったら不合格、本人確認の前に契約情報を読み上げたら不合格、といった「一度でも起きたら出せない」線と、待たせた秒数や言い直しの回数のように、許容の幅で決める線は性質が違います。この二つを分けずに一つの点数にまとめると、重い失敗が平均の中に埋もれます。

線を決める人がいないまま公開日が近づくと、試験の道具の既定の合格基準がそのまま公開の基準になります。既定の基準は、どの企業にも当てはまる一般的な会話の質を測るもので、自社の窓口の約束事は入っていません。

課題3：公開後に崩れても、誰も気づかず止められない

窓口のAIは、公開した後にも崩れます。使っている生成AIの版が変わる、指示文を一行直す、扱う商品が増える、季節で問い合わせの中身が変わる。どれも公開前の試験では確かめていない条件です。公開後の通話を誰も聞いていなければ、崩れたことに気づくのは、苦情が届いてからになります。

気づいても止められない場合もあります。止める権限が開発会社にしかない、止めたときに電話を受ける人がいない、止める基準が書かれていない、といった状態です。止め方が決まっていない窓口は、崩れたまま動き続けます。

さらに厄介なのは、崩れ方が静かなことです。平均の通話時間や取り次ぎの率のような運用の数字は、何かが変わったことは教えてくれても、どの種類の失敗が増えたのかは教えてくれません。同社も通話分析の解説で、合格率の数字だけでは残りの不合格がなぜ起きたのか、どれを直せば一番多く戻るのかが分からないと指摘しています。数字が動いてから通話を聞き始めるのでは、原因の特定にさらに日数がかかります。

原因：試験を作る人、直す人、止める人が分かれていない

三つの課題に共通する原因は、試験の役割が一つの組織に寄っていることです。多くの場合、窓口のAIを作った開発会社が試験の筋書きを作り、試験を回し、合格を報告し、公開後の不具合も直します。作った側が試験も採点もすると、作った側が想定していない相手は、試験にも入らないという構造上の穴ができます。

窓口の責任者の側から見ると、何を試したのかが見えず、合格の線にも関わっておらず、止める判断の材料もありません。対策は、役割を分けることです。筋書きと合格の線は窓口の側が持ち、試験を回して直すのは開発の側、止める判断は窓口の責任者、と分けます。

役割	持つ人	持たせない人
試す相手と用件の筋書き	窓口の責任者と現場の応対リーダー	開発会社だけで決めない
合格の線（一度でも不可の線・許容の幅）	窓口の責任者。重い線は法務・情報管理も	試験の道具の既定値に任せない
試験の実行と直し	開発の側（社内の開発者か開発会社）	窓口の側は手を出さない
採点の抜き取り確認	現場の応対リーダー	AIの採点だけで済ませない
公開後の停止の判断	窓口の責任者と、夜間・休日の当番	開発会社だけに持たせない

役割を分けると、指示文の変更にも承認の流れが要ることが見えてきます。開発の側が指示文を一行直すだけでも、窓口の振る舞いは変わります。変更のたびに決まった筋書きを回し、一度でも不可の線に触れていないことを確かめてから本番に出す、という約束を開発会社との取り決めに入れておくと、公開後の崩れの多くは手前で止まります。

対策1：模擬の相手を、六つの軸で作る

Cekura の公式ブログでは、模擬の相手を、言語・なまり・性別・感情・話す速さ・声の大きさ・割り込みの強さ・周りの騒音の八つで設定できると説明しています。感情は59種類、割り込みは4段階、騒音は道路やカフェ、工事現場など31種類が用意されているとしています。この組み合わせで、一つの用件から何十通りもの相手を作れるのが基盤を使う利点です。

もう一つの利点は再現できることです。10月の公開ベンチマークの解説では、模擬の相手を規則で動かし、返事が始まってから何秒後に割り込むか、どこで無言を挟むかを固定して、毎回同じ時点で同じ障害が起きるようにしていると説明しています。同じ条件で崩れるかを再現できれば、直した後に本当に直ったかを確かめられます。人の試し電話は毎回少しずつ違うため、直ったのか、たまたま通ったのかの区別がつきません。

実務では、自社の窓口で崩れやすい相手から逆算して軸を選びます。目安として、次の六つを試験の筋書きに入れておくと、社員の試し電話では出てこない崩れ方が見えます。

1. 話し方：早口、ゆっくり、声が小さい
2. なまり・方言：主な顧客の地域の話し方
3. 言い淀み・言い直し：「えーと」「じゃなくて」で用件が変わる
4. 怒り・焦り：最初から強い口調で、要件を急ぐ
5. 割り込み：AIの説明の途中で話し始める
6. 攻撃：AIに別の役を演じさせる、社内の情報を聞き出す

注意したいのは言い淀みです。公式の説明では、割り込みや沈黙への対応は設定できるとしていますが、言い淀みや言い直しをどこまで自然に再現できるかは明記されていません。日本語の「えーと」「あのー」を含む言い直しは、実際の通話の書き起こしをもとに筋書きに書き込み、模擬の相手に言わせる形で補うのが確実です。

対策2：攻撃の試験には、自社の「言ってはいけないこと」を足す

Cekura の攻撃の試験は、公式ブログでは三つの系統に分けられています。差別的な発言に乗るかを試す系統、暴言や脅しに応じるかを試す系統、そして別の人格を演じさせる・開発者を名乗って指示を上書きさせるなどで安全の制約を外させる系統です。筋書きごとに期待する振る舞いがあらかじめ書かれ、通話ごとに合格か不合格かが記録されます。

ただし、既定の攻撃は、どの企業にも共通する危険を試すものです。窓口で本当に困るのは、自社に固有の「言ってはいけないこと」です。たとえば、確定していない値下げを約束する、他の顧客の契約内容を話す、本人確認の前に住所を読み上げる、解約の引き止めで事実と違う説明をする、といったものです。公式は、業界に固有の試験や独自の合格基準を、同社の導入支援で作れるとしています。

• 既定の攻撃の試験に合格したことを、自社の窓口の安全確認として報告する
• 「言ってはいけないこと」の一覧を作らず、開発会社の想定に任せる
• 攻撃の試験の結果を、指示文の一行修正だけで直して再試験しない
• 不合格の通話を聞かずに、合格率の数字だけで判断する

同社のブログの例では、攻撃の系統ごとの合格率が示され、目標は満点を取ることではなく、窓口がどこで崩れるかを知ることだと書かれています。これは試験の道具としては正しい考え方ですが、公開の判定とは分けて考えます。自社の「言ってはいけないこと」は、合格率ではなく一度でも不可の線として扱い、一本でも不合格があれば直して再試験する、と決めておきます。

対策3：合格の線は業務の言葉で書き、AIの採点は抜き取りで確かめる

試験の採点の多くは、AIが通話の書き起こしを読んで行います。人が何百本も聞けないので、ここはAIに任せるしかありません。しかし、AIの採点が正しいかどうかは、人が確かめるまで分かりません。同社も10月の公式ブログで、人の判定をもとに採点の基準を直していく仕組みを紹介しており、採点そのものに人の確認が要ることを前提にしています。

進め方は、合格の線を窓口の業務の言葉で書くところから始めます。「適切に対応する」ではなく、「住所の変更を受けたら、変更後の住所を復唱し、反映の時期を伝える」のように、聞いた人が判定できる文にします。そのうえで、AIが合格とした通話と不合格とした通話を、現場の応対リーダーが10本ずつ聞き、判定が一致するかを確かめる。ずれが大きい線は、書き方を直してから使います。

日本語で試すときの限界

Cekura は日本語を対応言語に含めており、言語ごとに社内の比較で成績のよかった音声認識の仕組みを割り当てていると説明しています。ただし、公式の多言語の解説で具体的に取り上げられているのは、英語のなまりやインドの言語、欧州の言語などが中心です。日本語の試験の精度や、日本語の模擬の相手の自然さについての数字は公開されていません。

日本語の窓口では、英語の試験では表に出にくい崩れ方があります。敬語の誤り、人名や地名・商品名の読み違い、相づちを話の終わりと取り違えて割り込む、数字の聞き間違い（「いち」と「しち」など）です。模擬の相手の声も音声合成なので、本物の人の話し方より聞き取りやすい可能性がある点も、限界として押さえておきます。

このため、日本語の窓口では、Cekura の模擬通話の結果だけで公開を決めず、少数の実際の顧客や社外の協力者に話してもらう試験を併用します。特に、高齢の顧客が多い窓口、方言の強い地域の窓口では、人がかける試験を省かないほうが安全です。模擬通話は量と再現性、人の試験は自然さ、と役割を分けて考えます。

• 日本語の模擬通話の自然さは、自社の窓口の実際の通話を聞き慣れた応対リーダーに判定してもらう
• 人名・地名・商品名の読みは、よく出る語の一覧を作って筋書きに入れ、読み違いを数える
• 相づちと話の終わりの区別は、割り込みの試験と分けて確かめる

対策4：公開後の監視で見る数字と、止める人

公開後は、実際の通話を採点し続け、崩れた兆しを拾います。Cekura の通話分析は、不合格になった通話を失敗の型にまとめ、型ごとに原因の見立てと実際の通話を示すと説明しています。どの型が一番多くの通話を落としているかが分かれば、直す順番が決まります。失敗の型から新しい試験の筋書きを作る操作も用意されています。

見る数字は、多くても三つか四つに絞ります。一度でも不可の線に触れた通話の件数、用件の完了率、人への取り次ぎの率、そして通話の途中で切られた率です。そのうえで、一度でも不可の線に触れた通話が出たら、その日のうちに窓口の責任者が聞いて判断する、完了率が決めた幅を下回ったら開発の側に直しを依頼する、と数字ごとに動く人を決めます。

止め方も事前に決めます。全部を止めるのか、特定の用件だけを人の窓口に回すのか、営業時間外だけAIを外すのか。止めたときに電話を受ける人が確保できる形でなければ、止める判断そのものが下せなくなります。夜間や休日に誰が判断するかも、当番として書いておきます。

同社は5月と7月の公式ブログで、試験の結果をもとに窓口のAIの指示を自動で直していく、自己改善の仕組みも紹介しています。手間は減りますが、ここも線を引きます。直し案を作るところまでは自動にしても、本番に反映するのは人が承認してからにします。自動で直した版が、別の用件で一度でも不可の線に触れることは十分ありえるため、反映の前に決まった筋書きを全部回し、結果を窓口の責任者が見てから出す流れにしておきます。

試験に使う通話データの扱い

試験と監視では、通話の録音、書き起こし、AIが呼び出した道具の記録などが Cekura の基盤に送られます。同社の公式ブログでは、個人情報を顧客の環境から出る前に伏せる機能、米国・欧州・インドなど地域を選んでデータを置ける仕組み、顧客自身のクラウドの中で動かす形、記録の自動削除、顧客のデータを基盤モデルの学習に使わないこと、外部監査の報告書や米国の医療情報の規制への対応を挙げています。いずれも同社の説明で、契約前に資料で確かめる項目です。

日本の企業として確かめるのは、本番の通話の録音を試験に使ってよいかと、外国の事業者に預ける場合の扱いです。録音は多くの場合、個人情報にあたります。取得したときに伝えた利用目的に、AIの試験や品質改善が含まれているか、外国にある事業者への提供や委託として個人情報保護法上どう整理するかを、法務と確かめておきます。日本の地域を選べるかどうかも、公開情報からは確かめられませんでした。

迷う場合は、本番の録音を使わず、書き起こしから個人を特定する情報を消して筋書きに書き直し、模擬の相手に話させる形にすれば、試験に必要なのは崩れ方の型だけで済みます。公開後の監視で本番の通話を送る場合は、伏せる機能をどの段階で効かせるかを設定で確かめます。

開発の道具から試験を回させる線

5月に公開された MCP サーバーを使うと、Claude Code や Cursor、Codex などの開発者向けのAIから、試験の実行、定期実行の設定、結果の読み取りができると説明されています。認証は利用者がブラウザで許可する方式が基本で、自動化の仕組みから使う場合は合言葉にあたる鍵を使う形です。公式は、取り消せない操作には実行前に確認を求めるよう印を付けているとしています。

ここで線を引くのは、開発の側のAIが試験を回して結果を読むのはよいが、合格の線を書き換えさせないことです。AIに不合格の通話を読ませて指示文の直し案を出させるのは効率的ですが、そのAIが採点の基準まで直せると、試験は自分で自分に丸を付ける形になります。合格の線は窓口の側の文書として別に持ち、変更は窓口の責任者の承認を通すようにします。

自動化の鍵は長く使われるため、誰が発行し、どこに保管し、いつ作り直すかを決めておきます。開発会社に鍵を渡す場合は、契約の終了時に無効にする手順まで書いておくと、契約後も試験が回り続けるといった事故を防げます。

費用の考え方と、やめ方

Cekura の料金は、公式サイトで開発者向けの区分と、企業向けの個別見積もりの区分を示す形です。費用は、試験の通話の本数と、監視する本番の通話の量で増える性質があります。変更のたびに全部の筋書きを回す運用にすると、試験の本数は窓口の変更の回数に比例して増えるため、毎回回す筋書きと、大きな変更のときだけ回す筋書きを分けておきます。

費用と比べるべきなのは、人がかける試験の手間と、公開後の事故の費用です。苦情の対応、誤った案内の訂正、窓口を止めている間の人の手当ては、試験の費用より大きくなりがちです。やめ方としては、筋書き、合格の線、試験の結果、公開後の失敗の型を、自社の手元に書き出して残せるかを確かめます。試験の結果を自社の手元に残しておけば、別の道具や開発会社に切り替えた後も、前と同じ条件で比べられます。筋書きと合格の線は窓口の資産なので、別の道具に移っても使える形で持っておきます。

筋書きは増える一方になりがちなので、四半期に一度は棚卸しをします。長く一度も不合格が出ていない筋書きは大きな変更のときだけ回す側に移し、公開後の失敗の型から作った筋書きは毎回回す側に入れる、という入れ替えです。筋書きの数ではなく、本番で起きた失敗を試験に戻せているかが、試験の質を表します。棚卸しの結果は、開発会社との定例で共有し、合格の線の見直しにもつなげます。

よくある質問

窓口のAIを作った開発会社が試験をしているなら、別の道具は要りませんか

開発会社の試験は必要ですが、作った側の想定に沿った試験になりがちです。筋書きと合格の線を窓口の側が持ち、同じ試験を窓口の側からも回せる状態にしておくと、報告された数字を自分で確かめられます。道具を入れるかどうかより、試験の中身を誰が持つかが先です。

チャットのAIだけでも使えますか

公式は音声とチャットの両方を対象にしており、攻撃の試験も音声と文字の別で分類しています。チャットでは騒音や割り込みは関係しませんが、言い直し、怒り、攻撃、言ってはいけないことの試験は同じ考え方で行えます。

試験に合格すれば、公開後の監視は軽くしてよいですか

軽くしないほうが安全です。生成AIの版の変更、指示文の修正、扱う商品の追加で、公開前に合格した窓口も崩れます。公開直後の数週間は一度でも不可の線に触れた通話を全部人が聞き、落ち着いてから抜き取りに移る、という順番がよいでしょう。

試験の結果は、経営や監査にどう報告すればよいですか

合格率を一つの数字にまとめず、一度でも不可の線の結果と、許容の幅で決める線の結果を分けて示します。そこに日本語の人の試験の所見と、不合格になった通話の代表例を数本添えると、数字だけでは伝わらない崩れ方が共有できます。公開を決めた理由と、止める基準と当番も同じ資料に書いておくと、後から判断の経緯をたどれます。

まとめ

Cekura は、窓口のAIを本番に近い多様な相手で試し、公開後も崩れを拾い続けるための基盤です。社員の試し電話では再現できない話し方・なまり・怒り・割り込み・攻撃を、模擬の相手で何百本も試せます。ただし、道具が答えてくれるのは「どこで崩れたか」までです。一度でも不可の線と許容の幅の線を窓口の責任者が業務の言葉で書き、AIの採点を人の判定で確かめ、日本語の自然さは人の試験で補い、止める人と止め方を公開前に決めておく。この役割の分け方が決まっていれば、試験の道具は公開の判断を支える材料になります。公開後に起きた失敗を筋書きに戻し、次の変更の前に必ず回す循環を作れば、窓口のAIは時間とともに崩れにくくなっていきます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。