AIチャットで問い合わせは増えた？｜置かない群と比べて測る

「AIチャットを入れてから、チャット経由の問い合わせが月に30件来ています」「でも、全体の問い合わせ件数はあまり変わっていない気がする」。サイトに生成AIの接客チャットを置いた会社で、報告会のたびに出てくる食い違いです。どちらの見方も間違ってはいません。数えている範囲が違うのです。越境通販の大手で数百万人を無作為に分けて行われた実験では、生成AIを7つの業務に組み込んだ効果が、売上の上乗せでほぼゼロから16.3％まで、業務によって大きく開いたと報告されています。効果の大きさは、既存のやり方に対してどれだけ上乗せがあるかで決まったとされます。チャットの成果も、チャット経由の件数ではありません。本当は、チャットがなければ来なかった問い合わせの数です。この記事では、その増えた分を、チャットを置かない群と比べて測る手順を整理します。

「チャット経由で月〇件」が言っていること

チャットの管理画面や顧客管理のツールに出る「チャット経由の問い合わせ」は、問い合わせの直前にチャットを通った件数です。この数字が示すのは、チャットが問い合わせの通り道として使われたという事実までです。チャットがあったから問い合わせが生まれた、という因果までは示していません。

たとえば、料金ページを見て問い合わせを決めていた人が、画面の隅に出たチャットの窓に「見積もりがほしい」と打ち込んだとします。この人はチャット経由の1件に数えられます。しかし、チャットがなければ、同じ人は数秒後に問い合わせフォームを開いていたでしょう。この場合、チャットは問い合わせを増やしたのではなく、フォームの代わりに受け付けただけです。

逆に、チャットで製品の疑問が解けて初めて問い合わせる気になった人もいます。こちらはチャットが生んだ1件です。管理画面の数字は、この2種類を区別しません。区別できないまま件数を成果として報告すると、チャットの価値を大きく見積もることも、小さく見積もることもあるのです。

数える範囲そのものも、ツールによって違うことがあります。会話の直後に送られた問い合わせだけをチャット経由とするものもあれば、会話から一定の期間内に届いた問い合わせをすべて含めるものもあります。報告の数字を読む前に、自社のツールが何をチャット経由と数えているかを設定画面で確かめておきます。期間が長い設定なら、会話のあと数日たってフォームから届いた問い合わせまで、チャットの成果に入っています。

フォームから来ていた人が混ざる仕組み

置き換えが起きやすいのは、問い合わせの意思がすでに固まった人が多いページです。料金ページ、資料請求の案内、問い合わせフォームのページそのものにチャットを出すと、フォームに向かっていた人がチャットに流れます。チャット経由の件数は増えますが、フォームの件数はその分減っています。

このとき、チャット経由とフォーム経由を別々の表で報告していると、減った側に気づきにくくなります。チャットの担当者はチャットの件数を、ウェブサイトの担当者はフォームの件数を見ていて、フォームの減少は「最近は問い合わせが少ない」と別の理由で説明されがちです。経路ごとの件数ではなく、経路を問わない合計で見ることが、置き換えを見抜く最初の一歩です。

置き換えの多さを読む手がかりは、チャットで最初に打ち込まれた言葉にあります。「見積もりがほしい」「資料を送ってほしい」「担当者と話したい」のように、フォームでもそのまま頼める用件で始まる会話は、置き換えの可能性が高いと考えられます。反対に「この機能は〇〇にも使えるか」のような疑問から始まり、やり取りの末に問い合わせに至った会話は、上乗せの候補です。ただし、これは会話の中身から推測した目安であって、増分の測定の代わりにはならないことを忘れないようにします。

ただし、合計を置く前と後で比べるだけでは、まだ足りません。合計はチャット以外の理由でも動くからです。その理由を次の節で見ます。

置く前と後の比較が当てにならない理由

法人向けの問い合わせは、季節で大きく動きます。年度末の予算消化の時期、新年度の検討が始まる時期、夏季休暇や年末年始の谷間では、同じサイトでも月の問い合わせ件数が大きく変わります。チャットを置いた月がたまたま繁忙期に当たれば、チャットの効果とは関係なく件数は増えます。

広告と展示会も同じです。チャットの導入と同じ月に広告の予算を増やしていれば、訪問者の数も質も変わります。大きな展示会の翌月は、名刺交換した人からの問い合わせが集中します。導入の前後で変わったのはチャットだけではないという前提に立つと、前後の差をチャットの効果と呼ぶのは難しくなります。

前年の同じ月と比べる方法もありますが、1年たてば製品の価格も競合の状況も変わっています。前後比較が役に立つのは、ほかの条件がほとんど変わらない場合に限られます。条件をそろえる確実な方法は、同じ時期に、チャットを出す人と出さない人を並べて比べることです。

増分は、置かない群と比べて初めて見える

増えた分、つまり増分を測る考え方は単純です。同じ期間に訪れた人を2つに分け、片方にはチャットを出し、もう片方には出しません。季節も広告も展示会も、両方の群に同じように効くので、2つの群の問い合わせの割合の差が、チャットによる上乗せになります。

冒頭で触れた越境通販の実験も、この形で行われています。論文によれば、効果が出た業務では、増分は主に購入に至る割合の上昇から生まれていました。一方で、既存のやり方がすでに十分に機能している業務では、上乗せはほとんど出ませんでした。法人向けのサイトでも、フォームや電話の窓口がすでに使いやすいサイトほど、チャットの上乗せは小さくなりうると考えておくのが自然です。

ここからは、増分を測る手順を4つに分けて進めます。

手順1　何を成果と呼ぶかを先に決める

最初に決めるのは、何が増えたら成功とするかです。候補は、問い合わせの件数、そのうち商談になった数、商談の金額や受注、そしてチャットで疑問が解けて問い合わせが不要になった件数です。これらは同じ方向に動くとは限りません。チャットを出すと問い合わせは増えたが、増えたのは価格だけを知りたい人で、商談の数は変わらなかった、ということは十分に起こります。

そこで、判断に使う指標を1つ、確認のために見る指標を2〜3つと分けて決めておきます。たとえば判断は「訪問者あたりの商談化した問い合わせの割合」、確認は「訪問者あたりの問い合わせの割合」「サポートへの問い合わせの割合」とする、という形です。測り終わってから都合のよい指標を選ぶと、どんな結果でも成功に見えてしまいます。

この決定は、チャットの担当者だけでなく、営業とサポートの責任者も交えて行います。営業は商談の数を、サポートは問い合わせの負担を見ているので、何を成功とするかの感覚がそれぞれ違います。測る前にそろえておけば、結果が出たあとの議論が短くなります。

決めたことは、検証の計画書として1枚にまとめます。判断の指標、確認の指標、群の分け方と割合、期間、減少を成果とみなす条件、途中でやめる条件の6つを書き、関係者が測り始める前に目を通します。計画書の日付が測定の開始より前であることが、あとから指標を選び直していないことの証拠になります。

手順2　訪問者を無作為に分ける

分け方の基本は、訪問者単位で無作為に分けることです。ページを開くたびに群が変わると、同じ人がある日はチャットを見て、別の日は見ないことになり、比較が崩れます。多くのチャットのツールやサイトの実験用のツールには、訪問者ごとに群を割り当てて、次に来たときも同じ群を見せる仕組みがあります。

出さない群の割合は、広告の効果測定の解説では全体の5〜10％がよく挙げられます。チャットの場合も、出さない群を小さくすれば機会の損失は小さくなりますが、その分だけ必要な期間が長くなります。法人向けのサイトは訪問者が少ないことが多いので、最初の検証期間だけは半々に分けるという選び方も現実的です。期間を短く済ませ、結果が出たら出さない群を小さくして監視を続けます。

注意したいのは、群の割り当てが訪問者の性質で偏らないことです。スマートフォンの画面ではチャットを出さない、既存顧客のログイン後は出さない、といった設定がすでにある場合、その条件は両方の群に同じように当てはめます。片方の群だけに条件がかかると、差がチャットのせいなのか条件のせいなのか分からなくなります。

• 同じ会社の複数の人が別々の群に入ることは避けられない。会社単位で分けるのは難しいので、結果を読むときに影響の可能性として書き添える
• 訪問者の識別が消されると群が入れ替わる。閲覧の記録を残さない設定の人が多い業界では、群の割り当てが崩れていないかを途中で確かめる

手順3　期間と必要な件数を見積もる

法人向けのサイトの問い合わせは、訪問者の1％前後という会社も珍しくありません。この割合で差を見つけるには、かなりの訪問者が要ります。統計でよく使われる基準（差がないのに差ありと誤る確率を5％、本当の差を見逃さない確率を80％）で計算すると、問い合わせの割合を1％から1.2％に上げる差、つまり2割の上乗せを見つけるには、各群におよそ4万人の訪問者が必要になります。

月の訪問者が2万人のサイトで半々に分けると、各群は月1万人です。4万人に届くまで4か月かかります。上乗せが1割しかなければ、必要な人数はさらに4倍ほどに増えます。この見積もりを先にしておくと、「1か月やってみたが差が出なかったのでチャットは効かない」という早すぎる結論を避けられます。差が出なかったのか、差を見つけるだけの人数がなかったのかは、別のことだからです。

期間は、月の途中で区切らず、少なくとも1か月単位で取ります。法人向けの問い合わせは曜日と月末で偏るので、半端な期間で区切ると、偶然の偏りを拾いやすくなります。人数がどうしても足りないときは、次の節以降で扱うページ単位の分け方や次善策を検討します。

見つけたい差の大きさは、希望ではなく費用から逆算して決めます。チャットの月額と運用の手間に見合うには、商談化する問い合わせが月に何件増えればよいかを先に計算し、その件数に当たる割合の差を目標にします。費用に見合わない小さな差は、見つけられなくても判断は変わらないので、その差を見つけるための長い期間は要りません。計算の式は、実験用のツールに付いている計算機や、生成AIに式と前提を書かせて確かめられます。

手順4　群ごとに経路を問わず数える

集計で最も大事なのは、チャット経由かどうかではなく、群ごとの問い合わせ全体を数えることです。チャットを出す群では、チャット、フォーム、電話、資料請求のすべての問い合わせを合計し、訪問者の数で割ります。出さない群も同じく、フォーム、電話、資料請求を合計して割ります。この2つの割合の差が、チャットによる増分です。

電話の問い合わせは、どちらの群の訪問者からかを特定しにくいのが難点です。群ごとに別の電話番号を表示する方法もありますが、手間がかかります。電話の比率が小さいサイトなら、電話は群を問わない参考値として別に記録し、判断はウェブで受けた問い合わせだけで行うと決めてしまう方法もあります。どちらにするかは、手順1で決めた指標とあわせて最初に決めておきます。

集計の表は、群ごとに、訪問者の数、経路別の問い合わせ件数、その合計、訪問者あたりの割合、商談化した件数、の列を並べます。チャット経由の件数も列として残しますが、これは増分の計算には使わず、チャットの中で何が起きていたかを読むための参考にします。

報告では、差の値だけでなく、その差がどれくらいの幅でぶれうるかを添えます。たとえば「チャットを出した群の割合が0.2ポイント高い。ただし偶然のぶれを考えると、差は0から0.4ポイントの間のどこかにある」という書き方です。差の幅がゼロをまたいでいれば、上乗せがあるとは言い切れないと読みます。幅の計算は統計の手順に沿うので、社内に分かる人がいなければ、計算を実験用のツールに任せて結果の読み方だけをそろえておきます。

ページ単位で分けるという選び方

訪問者単位で分けるのが難しい場合や、チャットの効果がページによって違うと考えられる場合は、ページ単位で分ける方法があります。似た性格のページを2つの組に分け、片方の組にだけチャットを出します。たとえば製品紹介のページが20あれば、閲覧数や問い合わせの割合が近いもの同士で組を作り、組の中で片方ずつに振り分けます。

ページ単位の分け方の利点は、設定が簡単で、ページごとの違いが見えることです。料金ページでは置き換えが多く、機能紹介のページでは上乗せが大きい、という結果が出れば、チャットを出す場所を絞り込めます。欠点は、同じ人が両方の組のページを行き来することです。チャットを出さないページを見たあと、チャットのあるページで問い合わせれば、その件数はチャットの組に入ります。

この欠点を小さくするには、問い合わせを「最後に見たページ」ではなく「最初に来たページ」の組で数える方法があります。それでも行き来の影響は残るので、ページ単位の結果は、訪問者単位の検証ができるまでの目安として扱います。

組の作り方にも注意が要ります。問い合わせの多いページばかりが片方の組に集まると、差の大半はページの違いで説明できてしまいます。似たページ同士で組を作ってから片方を無作為に選ぶのは、この偏りを防ぐためです。組の数が少ないと、1つのページの偶然の動きが結果全体を左右するので、ページの数が少ないサイトでは、この方法より次の節の次善策のほうが向いていることもあります。

分けられないときの次善策

ツールの制約や社内の事情で、訪問者もページも分けられないことがあります。その場合の次善策は、時期をずらしてチャットを止めてみる方法です。たとえば2週間ごとにチャットを出す期間と出さない期間を交互に繰り返し、期間ごとの問い合わせの割合を比べます。季節の影響は完全には消えませんが、置く前と後を一度だけ比べるよりは、はるかに偏りが小さくなります。

地域で分ける方法もあります。特定の地域からの訪問者にだけチャットを出さず、ほかの地域と比べるやり方で、広告の効果測定でも使われる手法です。広告の地域分割は当メディアの別の記事で扱っているので、ここでは、法人向けのサイトでは地域ごとの訪問者が少なく、差を見つけるのが難しいことだけを押さえておきます。

どの次善策でも、前後比較しかできない場合でも、同じ期間に何が変わったかを記録しておくことが欠かせません。広告の予算、展示会、価格の改定、フォームの項目の変更、サイトの改修を、日付とあわせて集計表の横に書いておきます。結果を読む人が、差の一部がチャット以外の理由から来ている可能性を自分で判断できるようにするためです。

件数だけでなく、商談と質まで追う

問い合わせの件数で差が出ても、それで終わりにしません。チャットは、フォームを書くほどではない軽い質問も受け止めるので、問い合わせの件数は増えても、その多くが商談につながらないことがあります。群ごとに、問い合わせから商談になった件数と、その後の受注までを追います。

追うための準備は、問い合わせの時点で群の印を顧客管理のツールに残すことです。問い合わせの記録に「チャットを出した群」「出さない群」の項目を持たせておけば、数か月後に商談や受注の結果と突き合わせられます。法人向けは商談から受注まで数か月かかるので、群の印を残しておかないと、検証の結論が出る頃には、どの問い合わせがどちらの群だったか分からなくなっています。

質を見るもう一つの方法は、営業の担当者に、群を伏せたまま問い合わせの中身を評価してもらうことです。「具体的な検討段階か」「決める立場の人か」を3段階で付けてもらい、群ごとに平均を比べます。担当者が群を知っていると、チャットに期待している人ほど高く付ける偏りが出るので、評価が終わるまで群は伝えません。

問い合わせが減ったら、それは失敗か

チャットを出した群のほうが、問い合わせの割合が低くなることもあります。これが失敗かどうかは、減った問い合わせの中身によります。チャットで製品の仕様や使い方の疑問が解け、サポートへの問い合わせや、答えの決まった質問のための問い合わせが減ったのであれば、それは窓口の負担を減らした成果とも言えます。

問題は、この判断を結果が出てから行うことです。問い合わせが減った結果を見てから「自己解決が増えたのだから成功だ」と言えば、どんな結果でも成功になります。そこで手順1の段階で、減少を成果とみなす条件を決めておきます。たとえば「サポートへの問い合わせが減り、かつ商談化した問い合わせが減っていなければ成果」のように、減ってよいものと減ってはいけないものを分けて書きます。

自己解決の件数そのものは、チャットの会話ログから推定するしかありません。会話が回答で終わり、その後に問い合わせがなかったものを数える方法がありますが、単に離脱した人も含まれます。自己解決の件数は、判断の指標ではなく、確認の指標として扱うほうが安全です。

サポートの負担が減ったかどうかを見たいなら、サポート窓口の件数も群ごとに数えます。既存顧客がログインしてから使うサポートの窓口と、サイトのチャットは入口が別なことが多く、群の印をどう引き継ぐかを先に決めておかないと、減ったはずの問い合わせが、どちらの群の人だったのか分からなくなるからです。引き継げない場合は、サポートの件数を群を問わない参考値として扱います。

AIに任せるのは会話ログの分類と集計表の下書きまで

チャットの会話ログは量が多く、人が全部を読むのは現実的ではありません。ここには生成AIが使えます。会話ログを渡して、1件ずつ「製品についての質問」「資料請求」「価格の問い合わせ」「サポート」「その他」に分類させ、分類の理由を一文で書かせます。分類ができれば、チャットの中で何が起きていたか、置き換えが多い種類はどれかが見えてきます。

次のチャットの会話ログを1件ずつ分類してください。
分類：製品についての質問／資料請求／価格の問い合わせ／サポート／その他
あわせて、最初の発言がフォームでもそのまま頼める用件かどうかを「はい・いいえ」で付けてください。
出力は、会話番号／分類／フォームで頼める用件か／そう判断した理由（一文）の表にしてください。
迷うものは「その他」にせず「判断保留」と書いてください。

群ごとの集計表の下書きも任せられます。訪問者の数、経路別の件数、商談化の件数を渡し、手順4で決めた列の並びで表を作らせます。ただし、AIの分類には誤りが混ざるので、分類の結果から無作為に数十件を抜き出して人が読み、分類が合っているかを確かめます。誤りが多い種類があれば、分類の定義を書き直してから回し直します。

任せないことも決めておきます。群の分け方、期間、何を成果と呼ぶか、減少を成果とみなす条件は、測る前に人が決めることです。結果を見て「チャットを続けるか」「どのページに出すか」を決めるのも人です。AIに結果の解釈まで任せると、会話ログの印象に引きずられた説明が返ってくることがあります。分け方と成果の定義と最後の判断は人が持つという線を、検証の計画書の冒頭に書いておきます。

測り方ごとに言えること、言えないこと

ここまでの測り方を並べると、それぞれで言えることと言えないことがはっきりします。報告の場では、どの測り方で出した数字かを必ず添え、その測り方で言えない範囲まで主張しないようにします。

測り方	言えること	言えないこと
チャット経由の件数	チャットが問い合わせの通り道として使われた件数	チャットがなくても来ていたかどうか
置く前と後の比較	全体の件数が期間の間にどう動いたか	動いた理由がチャットか、季節・広告・展示会か
時期をずらした比較	チャットを出した期間と出さない期間の差の目安	期間ごとの偶然の偏りを除いた正確な差
ページ単位の比較	ページの性格ごとの上乗せの違い	ページを行き来した人の影響を除いた差
訪問者単位の無作為の比較	同じ時期の同じ条件でのチャットによる増分	件数が足りないときの小さな差

表のとおり、最も強く言えるのは訪問者単位で無作為に分けた比較です。ただしこれも万能ではなく、人数が足りなければ小さな差は見えません。差が見えなかったことは、差がないことの証明ではないと報告に書き添えておくと、次の判断を誤りにくくなります。あわせて、次に測るなら何を変えるか、たとえば期間を延ばす、出すページを絞る、群の割合を変えるといった案を添えておくと、検証が一度きりで終わりません。

やりがちな失敗

チャットの効果の測定で、よく見られるつまずきを挙げます。どれも、測る前の決めごとが足りないことから起きています。

• チャット経由の件数を成果として報告する：フォームから来ていた人の置き換えまで上乗せに数えてしまう
• 1か月で結論を出す：差を見つけるだけの訪問者が集まらないうちに「効かない」と判断する
• 結果を見てから成果の定義を選ぶ：件数が増えれば件数、減れば自己解決を成果と呼び、何でも成功になる
• 群の印を残さない：数か月後に商談や受注と突き合わせられず、件数だけの評価で終わる

4つ目の失敗は、気づいたときには取り返しがつきません。検証を始める日に、顧客管理のツールに群の項目を足しておくことを、手順の最初に入れておきます。

まとめ

「チャット経由で月〇件」という数字は、チャットが問い合わせの通り道として使われた件数であり、チャットがなくてもフォームから来ていた人を含みます。置く前と後の比較も、季節や広告や展示会の影響を切り分けられません。チャットによって本当に増えた分は、同じ時期の訪問者を無作為に分け、チャットを出さない群を残して、経路を問わない問い合わせの割合で比べて初めて見えます。測る前に、判断に使う指標、群の分け方と割合、必要な訪問者の数と期間、減少を成果とみなす条件を決めておき、問い合わせには群の印を残して商談と受注まで追います。訪問者を分けられない場合は、ページ単位や時期をずらす方法を次善策として使い、同じ期間に変わったことを記録しておきます。AIには会話ログの分類と集計表の下書きまでを任せ、分け方と成果の定義、続けるかどうかの判断は人が決めます。まずは自社のサイトの月の訪問者数と問い合わせの割合から、差を見つけるのに何か月かかるかを見積もるところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。