メールのABテストをAIで効率化する方法｜件名と本文の最適化

「件名を変えて開封率は動いたが、次にどちらへ寄せるかが決まらない」「配信のたびに案を変えていて、何を試したのかが残っていない」——メール配信の改善を任された担当者から、この2つが続けて出てきます。件名や本文の比較は、勝った案を選ぶための作業ではありません。本当は、何を変えたときに何が動くのかを、社内に残していく作業です。この記事では、比べる前に決めておく条件と、生成AIに案を出させる範囲、結果の読み方で人が持つ判断を順に整理します。

メールのA/Bテストとは

メールのA/Bテストとは、少しだけ違う2つの案を実際に送って、どちらが良い反応を得られるかを確かめる方法です。たとえば、件名を変えた2つのメールを、それぞれ別のグループに送り、どちらがよく開かれたかを比べます。思い込みや好みで決めるのではなく、実際の反応という事実で判断できるのが、この方法の強みです。確かめながら、より良い形に近づけていけます。

A/Bテストが大切なのは、人の予想が、しばしば外れるからです。「こちらの方が良いはず」と思った案が、実際にはそうでもなかった、ということはよくあります。送ってみて、相手の反応を見て、初めてわかることがあるのです。テストを重ねることで、自社の読み手に何が効くのかが、少しずつ見えてきます。勘ではなく、事実を積み重ねる方法です。

なぜA/Bテストに生成AIが向くのか

A/Bテストに生成AIが向いているのは、試す案を、手早くたくさん作れるからです。テストをするには、比べるための案が必要ですが、毎回ひねり出すのは大変です。AIに「この件名の、別の言い方をいくつか出して」と頼めば、すぐに候補が並びます。その中から比べたいものを選べるので、テストのもとになる案づくりが、ぐっと楽になります。

もうひとつの理由は、結果を読み解く手助けをしてくれることです。テストをすると、どちらがどれだけ反応を得たか、数字が出ます。その数字をAIに渡して、「どんなことが言えそうか」と尋ねれば、傾向を整理してくれます。数字を前に立ち止まらず、次に何を試すかを考えやすくなります。案づくりと、結果の読み解き、その両方を支えてくれるのです。

生成AIを使うメリット

メールのA/Bテストに生成AIを使うメリットは、まず、試す案を作る手間が減ることです。比べるための案を、いくつも考えるのは骨が折れますが、AIに頼めば候補がすぐ並びます。案づくりが楽になることで、テストのハードルが下がり、気軽に試せるようになります。試す回数が増えれば、それだけ多くの学びが得られます。テストを習慣にしやすくなるのです。

もうひとつのメリットは、結果から学びを引き出しやすくなることです。テストの数字は、ただ眺めているだけでは、次につながりません。AIに整理を手伝ってもらい、「どんな傾向があるか」を考えることで、学びが生まれます。その学びを、次のテストや、ふだんのメールに活かしていけます。試して、学んで、活かす——この流れを回しやすくなることが、AIを使う大きな利点です。

A/BテストをAIと進める流れ

A/Bテストは、思いつきで始めるより、流れを決めて進めると、学びがはっきりします。何を確かめたいかを決め、2つの案を作り、送って、結果を見て、次に活かす——この流れを意識すると、テストが意味のあるものになります。次のような手順で進めるとよいでしょう。何を変えるかは一つに絞るのが、確かな学びを得るコツです。

何を比べるかを決める

A/Bテストを始めるとき、まず決めたいのが、何を比べるかです。メールには、件名、本文の書き出し、誘導する文、送る時間など、試せる部分がたくさんあります。あれもこれもと欲張らず、「今回はこれを確かめる」と、一つに絞ることが大切です。狙いがはっきりしていれば、結果から得られる学びも、はっきりしたものになります。

何を比べるか迷うときは、AIに相談すると、考えが整理できます。「メールの反応を上げるために、試せる部分を挙げて」と尋ねれば、候補を並べてくれます。その中から、今いちばん確かめたいことを、人が選びます。まずは、反応への影響が大きいとされる件名から試すなど、優先順位をつけて取り組むと、効率よく学びを積み重ねられます。

件名で試す

メールのA/Bテストで、よく試されるのが件名です。件名は、受け取った人が最初に目にする部分で、開いてもらえるかどうかを大きく左右します。同じ内容のメールでも、件名の付け方しだいで、開かれる数が変わってきます。だからこそ、件名はテストする価値が高い部分です。どんな言い方が、自社の読み手に響くのかを、確かめていきます。

件名の案づくりは、AIが得意とするところです。「この内容を伝える件名を、いくつか違う切り口で出して」と頼めば、短いもの、問いかけるもの、数字を入れたものなど、さまざまな案が並びます。その中から、雰囲気の違う2つを選んで比べます。どんな件名が効くかは、読み手によって違うもの。テストで、自社の読み手に合う傾向を、つかんでいきます。

本文と誘導文で試す

件名の次に試したいのが、本文や、行動を促す誘導の文です。本文の書き出しを変えると、読み進めてもらえるかが変わります。誘導の文、つまり「詳しくはこちら」のような部分の言い回しを変えると、その先に進んでもらえるかが変わります。これらも、件名と同じく、書き方しだいで反応が変わる、試す価値のある部分です。

本文や誘導文の案も、AIに作ってもらえます。「この誘導文の、別の言い方を出して」と言い換えさせると、やわらかいもの、はっきり促すものなど、いくつもの案が出ます。それを比べて、どちらが先へ進んでもらえるかを確かめます。ただし、AIが作った文に、誇張や事実と違う表現が混じっていないかは、人が必ず確かめます。試す前の確認を、怠らないようにします。

一度に一つだけ変える

A/Bテストで、最も大切な原則が、一度に変えるのは一か所だけということです。件名と本文を同時に変えてしまうと、どちらが反応の違いを生んだのか、わからなくなります。件名を試すなら件名だけ、本文を試すなら本文だけ。ほかは同じにして比べることで、初めて「何が効いたか」がはっきりします。ここが、テストの確かさを支える土台です。

つい、一度にたくさん変えたくなりますが、それでは学びがぼやけます。AIに案を作ってもらうときも、「件名だけを変えて、本文は同じに」と、はっきり伝えるとよいでしょう。一つずつ確かめていくのは、遠回りに見えて、実は確かな近道です。一度に一つ。この原則を守ることで、テストのたびに、確かな学びが一つずつ積み上がっていきます。

結果を読み解く

テストを送ったら、その結果を読み解きます。どちらの案が、よく開かれ、よく反応されたか。数字を見比べて、どちらが良かったかを判断します。このとき大切なのは、わずかな差で一喜一憂しないことです。たまたまの差なのか、はっきりした差なのかを見きわめ、確かに良かったと言えるものを、学びとして受け取ることが大切です。

結果の読み解きにも、AIが役立ちます。テストの数字をAIに渡して、「どんなことが言えそうか」「差ははっきりしているか」と尋ねれば、整理を手伝ってくれます。ただし、最終的にどう判断するかは、人が考えることです。数字の背景にある、読み手の気持ちを想像しながら、結果を受け止めます。AIの整理を参考に、人が意味を読み取る——この組み合わせで、学びを深めます。

学びを次に活かす

A/Bテストは、一度やって終わりではありません。一つのテストでわかったことを、次のメールや、次のテストに活かしてこそ、意味があります。「問いかける件名が効いた」とわかれば、次もその方向で試す。「この誘導文が良かった」とわかれば、ほかのメールにも取り入れる。学びを積み重ねていくことで、メール全体の反応が、少しずつ上がっていきます。

学びをためていくときも、AIが手助けになります。これまでのテストでわかったことをAIに伝えておき、新しいメールを作るときに「これまでの学びを踏まえて」と前提を書いて渡すと、活かした案を出してくれます。テストの結果を、その場限りにせず、知恵としてためていく。そうすることで、自社の読み手に何が効くのかという、貴重な財産が育っていきます。

気をつけたいこと

A/Bテストで気をつけたいのが、送る相手の数です。比べるグループが少なすぎると、出た差が、たまたまなのか、本当の差なのか、わからなくなります。ある程度の数に送って、初めて確かな比較ができます。たとえば、送る相手が数人しかいない状態で「こちらが良かった」と判断しても、それはたまたまの結果かもしれず、あてにはできません。送る相手が少ないうちは、テストの結果を、参考程度に受け止める慎重さも必要です。数が、結果の確かさを左右することを、心に留めておきます。

もうひとつ気をつけたいのが、テストの結果を、いつでも正しいと思い込まないことです。あるときに効いた件名が、別の時期や、別の相手には効かないこともあります。読み手も、世の中の状況も、移り変わっていきます。だからこそ、テストは続けるものです。一度の結果を絶対視せず、確かめ続ける姿勢が、変化に合わせた、より良いメールにつながります。

AIに任せる部分と人が担う部分

メールのA/Bテストでも、AIに任せてよい部分と、人が担うべき部分を分けると、うまく付き合えます。試す案を出したり、結果の数字を整理したりは、AIが得意です。一方で、何を確かめるかを決めること、案に問題がないかの確認、結果をどう判断するかは、人が担うところです。次の表に、その分担を整理しました。

作業	主に担うのは
試す案づくり	AIが候補 → 人が選ぶ
案の事実確認	人が確かめる
何を比べるか決める	人が判断する
結果の数字整理	AIがまとめ → 人が読む
良し悪しの判断	人が決める

開封率だけで勝ち負けを決めると、判断がずれる

件名の比較は開封率で見るもの、と長く言われてきましたが、この前提は2021年9月から崩れています。アップルの端末のメールアプリに入ったプライバシー保護の仕組みが、受信した時点で画像を先に読み込むため、実際には開いていないメールまで開封として数えられるからです。その利用者がどれだけ含まれるかは配信先によって違いますが、割合が高いほど、開封率は実態より高い側に寄ります。自社の配信先にどの受信サービスが多いかは、配信システムの一覧でおおよそ分かります。まずそこを見て、開封率をどこまで信じるかを決めます。数字が出ていても、読まれた割合を表す指標ではなくなっていると考えておきます。保護の仕組みは受け手が設定で選ぶものなので、その割合は時期によっても動きます。

影響は、テストの勝敗の付け方に出ます。どちらの案が勝ったかを開封率だけで決めると、水増しの多いグループに当たった案が勝つことがあります。判断の軸は、クリック数と、開封した人のうちクリックまで進んだ割合、そして問い合わせや商談につながった数に移します。クリックの数がもともと少ない配信なら、返信や問い合わせの件数まで数えます。開封率を捨てる必要はありませんが、同じ条件で並べたときの相対の比較と、急に落ちたときの異常の気づきに、使い道を限ります。見る指標を変えた日は記録に残し、それ以前の勝敗は参考扱いにします。返信や問い合わせを数えるなら、誰が数えるかも決めます。営業の受信箱にしか届かない反応は、配信の管理画面には出てきません。

件名を変えたのにクリックで見るのは遠回りに思えますが、件名は本文を読ませる入口です。入口の違いが、その先の行動まで届いているかを見るほうが、次の配信に引き継げます。1回の配信でクリック数が二桁に届かないようなら、同じ条件のテストを2回から3回続けて、合算して読みます。合算するときは、配信する曜日と時間帯、配信先の抽出条件、本文をそろえます。ひとつでも変えると、合算する意味が薄れます。件名ごとの勝敗を毎回付けようとせず、数がたまるまで判定を待つ。この待ち方も、記録に残しておく約束のひとつです。合算した後も、1回ごとの数字は消さずに並べます。どの回で差が開いたかが見えると、時期や案内の中身の影響にも気づけます。

配信システムに、受信側のサービス別の内訳があるなら、それも開いておきます。特定のサービスの利用者だけ開封率が極端に高い場合、その群を外して比べると、案の差がはっきりすることがあります。あわせて、2つの群でサービスの構成比がそろっているかも確かめます。抽出の順番によっては、片方に特定のサービスが偏ることがあり、そのときは案ではなく配信先の違いを見ていることになります。手元の環境で内訳が取れないなら、開封率は参考の欄に置き、勝敗の判定には使わないと決めてしまいます。決め方を固定するほうが、配信のたびの迷いがなくなります。内訳を見る習慣がつくと、そもそも届いていない宛先にも早く気づけます。届かなかった分は、開封の分母から外します。

配信数と締め切りを、案を作る前に決める

差が本物かどうかは、案の良し悪しより先に、配信した数で決まります。数百通ずつに分けた配信で開封率が1ポイントや2ポイント違っても、偶然の範囲に収まることが多く、そこから勝ち案を決めても次の配信では再現しません。案を作り始める前に、どのくらいの差が出たら採用するのかを決めておきます。ここを決めずに送ると、出てきた数字を見てから基準のほうを動かすことになり、何回テストしても社内に知見が残りません。基準を先に書いておくと、上長への説明も短くなります。決めた基準は配信ごとに変えず、四半期は固定します。基準を決める場には、決裁する側にも一度入ってもらいます。結果だけを後から持っていくより、採用の可否で揉めにくくなります。

手順にすると4つです。まず直近5回の配信の平均を取り、今の基準値を出します。次に、採用に値する差を決めます。たとえばクリック率を相対で2割上げる、といった形です。3つ目に、その差を見分けるのに必要な通数を見積もります。専用の計算ができる道具もありますが、なければ、過去の配信で出た差の振れ幅を並べ、その幅を超えた差だけを採用する、という決め方でも実用になります。4つ目に、足りなければ期間を延ばすか、同じ条件の配信を複数回まとめて数えます。配信先が数百件しかないなら、件名の比較はいったん諦めて、送る相手の絞り込みを見直すほうが早いこともあります。見積もった通数に届かない月は、テストを1本に減らし、空いた時間を配信先の整理に回します。

ここで線を引くのは、差が本物かどうかの判定と、勝ち案の採用可否をAIに決めさせないことです。集計表の整形、差の大きさの計算、次に試す案の候補出しまでは任せられます。判断の根拠として、配信数、期間、見た指標、そのときの基準値を記録に残し、採用の可否は人の名前で決めます。記録は配信システムの中ではなく、誰でも開ける表に置きます。システムを乗り換えると履歴ごと消えることがあるためです。勝った案そのものより、なぜ勝ったと考えたかの一行が、後から効きます。表の列は、配信日、案の中身、変えた点、配信数、結果、判定、決めた人の7つで足ります。これだけあれば、担当が代わっても過去の試行をたどれます。

締め切りも先に決めます。開封とクリックは配信の直後に集中しますが、3日ほどかけて積み上がることもあります。締め切りの日を決めずに数字を眺めていると、有利なほうに寄った時点で止めたくなり、比較そのものが意味を失います。何日目の数字で判定するかを決め、その日までは触らない。途中の経過は見てもよいが、判定はしない。この2つを運用の約束にして、配信の計画表に書いておきます。判定の日には、結果を書き込む欄まで先に用意します。毎週配信しているなら、判定は次の配信を作り始める前に置くと、学びが途切れません。締め切りを待たずに止めた回も、なぜ止めたかを1行残しておきます。記録がないと、同じ条件をまた誰かが試すことになります。

勝った件名が、迷惑メール報告を増やしていないか

件名の比較で勝った案が、長い目で見ると配信全体を傷つけることがあります。2024年2月から、主要な受信側のサービスは、まとめて送る側に条件を課しています。1日に5,000件を超えて送る場合、送信元ドメインの認証であるSPFとDKIMの設定、DMARCの設定、1回の操作でできる配信停止、そして受け手からの迷惑メール報告の割合を0.3%未満に保つことが求められます。この5,000件は、一度の配信だけでなく、同じ日に出した複数の配信の合計で数えます。件名の工夫は、この条件の内側で行うものになりました。自社のドメインで送っている場合は、認証の設定が済んでいるかを情シスと一緒に確かめます。配信の道具を替えた直後は、特に抜けやすいところです。

0.3%は、1万通あたり30件です。過度に煽る件名や、中身と合っていない件名は、その回の開封を増やす代わりに、報告と配信停止を増やします。そこで、テストの勝敗表に、開封とクリックだけでなく、配信停止の数と迷惑メール報告の割合を並べて書きます。件名ごとの成績と、配信基盤の健康状態を、同じ表で見るということです。報告の割合は受信側が用意する管理の画面で見られるので、まず見られる状態にしておきます。配信停止は、押した人が二度と戻らないという意味で、開封の増減より重い数字です。割合は回ごとに振れるため、1回ずつ見るよりも、直近3か月を並べたほうが傾向を読めます。上がり始めた月に何を送っていたかを、勝敗表から引ける状態にしておきます。

採用の決まりも、数字が出る前に決めておきます。クリックで勝っていても、配信停止がふだんの水準を明らかに超えた案は採用しない、といった形です。あわせて、報告の割合が上がり始めたときに何を止めるかも決めます。配信の頻度を落とすのか、反応のない宛先を外すのか、件名の路線を戻すのか。順番を決めるときは、効き目が出るまでの時間も添えます。頻度を落とす判断は翌週から効きますが、宛先の整理は次の抽出から効きます。順番が決まっていれば、数字が悪くなってから全部を同時に変え、原因が分からなくなる事態を避けられます。止めると決めた後は、誰が号令をかけるかも書いておきます。判断が宙に浮くと、悪い数字のまま次の配信が出ていきます。

AIに件名の案を出させるときの条件にも、この観点を入れます。誇張しない、本文にない事実を書かない、期限や特典の内容は本文と一致させる。この3つは指示文に定型で書いておき、毎回打ち直さないようにします。出てきた案は人が読み、本文と突き合わせてから配信に載せます。件名と本文を別々の人が作ると、ずれが起きやすいので、最後の読み合わせは1人が通して行います。案を作る速さより、届く状態を保つことのほうが、長い目で見た成果に効きます。迷惑メールに振り分けられてしまえば、どれだけ良い件名でも比較の土俵に上がれません。条件を指示に入れても、出てきた案がそれを守っているとは限らないので、読み合わせは省けない工程です。

やりがちな失敗と回避のコツ

A/Bテストでやりがちなのが、一度にたくさんの部分を変えてしまうことです。件名も本文も誘導文も変えると、反応に差が出ても、何が効いたのかわかりません。学びを確かなものにするには、変えるのは一か所だけ、という原則を守ることです。遠回りに見えても、一つずつ試すことが、確かな知恵を積み上げる、いちばんの近道になります。

まとめ

メールのA/Bテストは、2つの案を実際に送って、どちらが良いかを事実で確かめる方法です。思い込みでなく、相手の反応で判断できるのが、大きな強みです。生成AIは、試す案を手早く作ったり、結果を読み解いたりする作業を、力強く支えてくれます。一方で、何を確かめるかの決定、案の確認、結果の判断は、人が担う大切な部分です。一度に変えるのは一つだけという原則を守り、AIの助けを借りながら、学びを積み重ねていく。そうすることで、自社の読み手に響くメールへと、少しずつ近づいていけます。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。