OptimizelyのAIでABテストを組む｜公開前に人が決める所

「ABテストの準備に何日もかかって、回せる本数が増えない」「AIがテストを組んでくれるなら、確認する前に公開されてしまわないか」。サイトの改善を持つ担当者からは、速さへの期待と、勝手に動くことへの不安が同時に聞こえてきます。どちらも、テストを組む手間の重さを知っているからこその声です。Optimizelyは2026年9月、保存したアイデアからABテストを組み立てるAIの機能を公式のリリースノートで案内しました。AIが変更案を作り、主な指標と対象者を提案し、人が確かめて開始する流れです。AIがテストを組めるようになっても、開始のボタンが軽くなるわけではありません。本当は、組む作業が速くなるほど、公開前に人が決める所をはっきりさせる必要があるのです。この記事では、AIに任せる所と人が決める所を、運用に定着させる順番で整理します。

OptimizelyのAIでテストの組み方がどう変わったか

最初に、公式のリリースノートで確かめられる範囲を押さえます。Optimizelyの生成AIの機能群は「オパール」と呼ばれています。2026年9月の更新では、保存したアイデアや下書きのアイデアを、ひと続きのABテストに仕上げる機能が案内されました。オパールが変更後の画面を作り、主な指標と対象者を提案し、人が確かめてから開始する流れです。

その前段として、2026年4月には、ページの内容、目的、調べた材料をもとに実験の案を作る「アイデアビルダー」が案内されています。一つひとつの案には、題、説明、課題、仮説、そして出典が付きます。案はオパールとの会話で磨くことも、保存しておくこともできます。

変更後の画面を作るエージェントは、2024年10月の時点で案内されており、ページの見た目の決まりを自動で読み取って、ブランドの一貫性を保つと説明されています。2025年5月には、テスト結果を平易な言葉で要約する機能や、オパールとテストの案を出し合う機能も加わりました。

つまり、案を考える段から、画面を作る段、指標と対象者を決める段まで、AIの下書きがひと続きになったというのが今回の変化です。一方で、リリースノートは開始の前に人が確かめる形をはっきり書いています。この「人が確かめる」の中身を決めるのが、導入する会社の仕事になります。

テストを組む流れを4つの段に分けて見る

AIの機能を業務に入れる前に、テストを組む流れを段に分けて書き出します。公式の説明に沿うと、案を作る段、変更案を作る段、指標と対象者を決める段、開始する段の4つに分けられます。段ごとに、AIが下書きするものと人が決めるものが違います。

案を作る段では、AIはページの内容や渡された材料から仮説を立てます。変更案を作る段では、画面の要素を書き換えた変更後の画面を作ります。指標と対象者を決める段では、何で勝ち負けを測るかと、誰にテストを見せるかを提案します。開始する段では、人が確かめて開始の操作をします。

段に分けると、どこで止めるかが決めやすくなります。たとえば案の段で止めて人が選び直すのか、変更案の段で止めてデザインの担当者が確かめるのか。止める場所が決まっていないと、全部の段を最後にまとめて見ることになり、見る量が多すぎて浅くなります。

この4つの段は、社内の役割にもそのまま当てはめられます。案の段はマーケの担当者、変更案の段はデザインと広報の担当者、指標と対象者の段はマーケの責任者、開始の段はサイトの責任者、という具合です。次の表で、段ごとの持ち場をまとめます。

AIに任せる所と人が決める所

段ごとに、AIに任せてよい作業と、人が決める作業を並べます。AIに任せるのは、材料を読んで下書きを作る作業までです。何を正しいとするか、誰に見せてよいか、始めてよいかは、画面の外の事情を知っている人が決めます。

段	AIに任せる所	人が決める所	決める人の例
案を作る	ページと材料を読み、仮説と出典つきの案を出す	どの案を採るか。材料に何を渡すか	マーケの担当者
変更案を作る	要素を書き換えた変更後の画面を作る	表記・言い回し・約束の表現がブランドに合うか	デザイン・広報の担当者
指標を決める	主な指標を提案する	事業の目的に合う指標か。選び直すか	マーケの責任者
対象者を決める	見せる対象者を提案する	見せてはいけない相手が混ざっていないか	マーケの責任者と法務
開始する	設定をひと続きに整える	開始してよいか。承認の記録	サイトの責任者
結果を読む	結果を平易な言葉で要約する	勝ち負けの判定と、本番に反映するか	マーケの責任者

表の右の列は、会社の規模によって一人が兼ねてもかまいません。大事なのは、同じ人が案を作って、そのまま開始まで通さないことです。少なくとも変更案の段と開始の段は、別の目を通す形にしておくと、見落としが減ります。

この表は、導入のときに一度作って終わりではありません。テストを何本か回したら、どの段で差し戻しが多かったかを振り返り、止める場所や決める人を入れ替えます。表そのものを運用の記録として育てていく、という扱いにします。

担当者が少ない会社では、一人で二つの段を兼ねることになります。そのときは、兼ねる組み合わせに気をつけます。案を作る人が指標も決めるのは自然ですが、変更案を作らせた人がそのまま開始するのは避けたい組み合わせです。自分で見た画面は、自分では見落としに気づきにくいからです。外部の制作会社に変更案の確認だけを頼む、という分け方もあります。

案の段：AIに渡す材料を人が選ぶ

アイデアビルダーは、ページの内容、目的、調べた材料をもとに案を作ると説明されています。ということは、何を材料として渡すかで、出てくる案の質が決まります。材料を選ぶのは人の仕事です。

渡す材料として役に立つのは、顧客の問い合わせでよく出る疑問、営業が商談で受ける質問、過去のテストで分かったこと、ページの目的を一文で書いたものです。たとえば「資料請求の申し込みを増やす。対象は従業員百人以上の企業の担当者」のように、目的と対象を書いて渡します。

渡さない材料も決めておきます。顧客の名前が入った問い合わせの原文、未公開の製品の情報、社内の売上の数字などです。オパールの画面に貼ったものが、どう扱われるかは後で触れる契約の条件にもよるので、材料は要点を書き写したものを渡し、原文は渡さないのが安全です。

材料の選び方は、社内で一枚の紙にまとめておきます。担当者が替わっても同じ材料の水準で案を作れるようにするためです。材料が人によってばらばらだと、案の良し悪しがAIのせいなのか材料のせいなのか、振り返れなくなります。

案の段の検収：仮説と出典を読む

アイデアビルダーの案には、課題、仮説、出典が付くと説明されています。これは検収のための手がかりです。AIに根拠を書かせているので、人は結論ではなく根拠を読んで採るかどうかを決められます。

読むときは、出典が本当にその仮説を支えているかを確かめます。たとえば仮説が「料金の表記が分かりにくいので申し込みが少ない」なら、出典に料金についての問い合わせや、料金のページでの離脱の数字があるかを見ます。出典が一般論だけなら、その仮説は自社の事情に基づいていない可能性があります。

もう一つ見るのは、課題の書き方が自社の目的とずれていないかです。目的が資料請求なのに、課題が「滞在時間が短い」になっているような案は、測るものがずれています。こうした案は、採る前に課題を人が書き直すか、案そのものを差し戻します。

採った案と差し戻した案は、理由とともに記録します。「出典が一般論」「目的とずれ」「すでに試した」の三つ程度の区分で足ります。差し戻しの理由がたまると、渡す材料のどこが足りないかが見えてきます。

変更案の段：ブランドと表記を人が確かめる

変更後の画面を作るエージェントは、ページの見た目の決まりを自動で読み取って一貫性を保つと説明されています。色や文字の形がそろうのは助かりますが、見た目がそろっていることと、言葉がブランドに合っていることは別の話です。

人が確かめるのは、言葉の中身です。見出しや申し込みのボタンの文言に、約束しすぎる表現がないか。「必ず」「最短」「業界一」のような、根拠を示せない言葉が入っていないか。表記の決まり、たとえば社名や製品名の書き方、数字の書き方が社内の基準に合っているか、を見ます。

日本語のページで使う場合は、言い回しの自然さも確かめます。確かめた時点の公式の案内では、オパールがどこまで日本語に対応しているかは読み取れませんでした。日本語の変更案は、デザインの担当者に加えて広報か文章の担当者が一度読む、という決まりを置いておくと安心です。

法令に関わる表現、たとえば料金や効果の表示は、変更案の段で止めて担当の部署に回します。AIが作った変更案でも、公開すれば自社の表示です。誰が作ったかではなく、何が表示されるかで確認の要否を決めます。

変更案の段の検収：何が変わったかを一覧で見る

変更案は画面として出てくるので、見た目の印象で良し悪しを決めがちです。検収では印象ではなく、元の画面から何が変わったかを一つずつ書き出して確かめます。2025年2月には、変更の中身と目的を要約する機能も案内されているので、その要約を下書きとして使えます。

書き出すのは、変わった要素、変わる前と後の文言や配置、その変更がどの仮説に対応しているか、の三つです。AIが仮説に関係のない要素まで書き換えていたら、その変更は外すか、別のテストに分けます。仮説と関係のない変更が混ざると、結果が出ても何が効いたのか説明できません。

もう一つ確かめたいのは、画面の動きです。申し込みのフォームが正しく送れるか、スマートフォンの幅で崩れないか、計測のタグが変更後の画面でも動いているか。見た目がきれいでも、フォームが送れなければテストになりません。ここは開始の前にテスト用の画面で実際に操作して確かめます。

書き出した一覧は、開始の承認の記録にそのまま添付します。承認する人は、画面を見る前にこの一覧を読み、変更の範囲が仮説に対して広すぎないかを先に判断します。

指標の段：提案された主な指標を選び直す

今回の機能では、AIが主な指標を提案します。Optimizelyでは主な指標が、変更案の勝ち負けを判定するための中心の目標として扱われます。だからこそ、主な指標は人が事業の目的に照らして選び直します。

よくあるずれは、測りやすい指標が選ばれることです。クリックの数やページの閲覧は数字が早く集まるので提案されやすい一方、BtoBのサイトで本当に増やしたいのは資料請求や問い合わせの完了であることが多いはずです。提案された指標が、最終的に増やしたいものとつながっているかを確かめます。

主な指標とは別に、悪化していないかを見る指標も人が足します。たとえば申し込みは増えたが、問い合わせの質が下がった、といった変化を見落とさないためです。主な指標は一つ、見張る指標はいくつかという形を、社内のテストの決まりとして持っておきます。

どれくらいの期間テストを回すか、どれだけの人数が要るかといった設計の考え方は、別の記事で扱っています。ここで押さえるのは、指標の提案を受け取ったら、それを採るかどうかを人が一度判断する段を必ず通すことです。

対象者の段：見せてはいけない相手を外す

AIは、テストを見せる対象者も提案します。対象者の提案は便利ですが、見せてはいけない相手が混ざっていないかは、画面の外の事情を知っている人にしか判断できません。

外すことが多いのは、すでに契約している顧客、商談が進んでいる相手、社員や関係会社の人です。契約中の顧客に、新規向けの料金の表記を試す画面が出ると、問い合わせや混乱のもとになります。対象者の条件に、こうした相手を外す設定が入っているかを確かめます。

対象者の条件に、個人に関わる情報を使う場合は、社内の個人情報の方針と照らし合わせます。どの情報を使ってよいかは法務と確かめる点です。対象者の条件は、提案をそのまま採らず、使ってよい条件の一覧から人が選ぶ形にしておくと、判断がぶれません。

対象者の広さも見ます。提案された対象者がサイトの訪問者のごく一部に絞られていると、結果が出るまで時間がかかり、逆に広すぎると失敗したときの影響が大きくなります。広さの判断はサイトの責任者が持ち、開始の承認の記録に理由を書きます。

開始の段：承認を誰が持ち、どう記録するか

リリースノートでは、AIが組んだテストを人が確かめて開始する流れが示されています。社内で決めるのは、開始の操作をしてよい人を誰にするかです。テストを組む人と開始する人を同じにしない、というのが基本の線になります。

開始の承認で確かめる項目は、ここまでの段の結果を並べたものです。案の出典を読んだか、変更の一覧を確かめたか、ブランドと表記の確認が済んだか、主な指標を選び直したか、見せてはいけない相手を外したか。五つがそろっていなければ開始しない、と決めておきます。

承認の記録は、Optimizelyの画面の外にも残します。テストの名前、仮説、変更の一覧、主な指標、対象者、承認した人と日時を、社内の表に一行ずつ書きます。画面の中の履歴だけだと、契約や設定が変わったときに振り返れなくなることがあるからです。

急ぎのテストでも、承認を飛ばす例外は作らないほうが安全です。例外を一度作ると、急ぎかどうかの判断が人によってばらつき、承認の段が形だけになっていきます。どうしても急ぐときは、承認する人を二人に増やして待ち時間を短くするほうが筋が通ります。

結果の段：勝ち負けの判定をAIに任せない

2025年5月には、テスト結果を平易な言葉で要約する機能が案内されています。要約は結果を早くつかむのに役立ちますが、勝ち負けの判定と、本番に反映するかどうかは人が決めます。AIに判断させないのは、判定の責任を持てるのが人だけだからです。

要約を読むときは、要約の中の数字が、画面の結果の数字と合っているかを確かめます。要約は分かりやすく書かれている分、条件や留保が省かれていることがあります。「どの指標で」「どの対象者で」勝ったのかが要約に書かれているかを見ます。

勝ったと判定しても、本番に反映する前に、変更案の段で確かめたブランドと表記の確認をもう一度通します。テスト中に社内の表記の基準が変わっていることもありますし、テスト用に置いた仮の文言がそのまま残っていることもあります。

結果の数字の読み方や、差が意味のあるものかどうかの見極め方は、別の記事で詳しく扱っています。ここでは、要約を判定の代わりにしない、という線だけを運用の決まりに書いておきます。

クレジットを誰が持ち、上限をどう決めるか

公式の案内では、オパールの機能は2025年5月7日から、使った分に応じたクレジットの課金に移ったとされています。つまり、AIにテストを組ませる回数が増えるほど、クレジットを使います。誰がどれだけ使うかを先に決めておかないと、月の途中で使い切ることもあり得ます。

決めるのは、クレジットの予算を持つ部署、担当者ごとの目安、使い切りそうなときに誰に知らせるか、の三つです。マーケの部署が予算を持つなら、マーケの責任者が月に一度使った量を確かめ、テストの本数と見合っているかを見ます。

一つのテストを組むのにどれだけのクレジットを使うかは、確かめた時点の公式の案内からは読み取れませんでした。最初の一か月は、テストを一本組むごとに使った量を記録し、一本あたりの目安を自社の数字で作るところから始めます。

クレジットは、テストを組む以外のオパールの機能でも使われる可能性があります。会話で案を磨く、結果を要約する、といった使い方も含めて、どの機能でどれだけ使っているかを分けて見られるかを、契約の段で確かめておくと予算の管理がしやすくなります。

管理者が止められる範囲を確かめる

公式の案内では、Optimizelyの共通の認証の仕組みを使っている場合、管理者は管理センターの設定から、生成AIの機能をまとめて止められるとされています。止めるとオパールと、それに含まれるAIの機能がまとめて止まります。

まとめて止められるのは、問題が起きたときの安全装置として心強い一方で、細かく止めることは、確かめた時点の案内からは読み取れませんでした。たとえば、案を作る機能は使うが、テストを組む機能だけは止める、といった使い分けができるかは、契約の前に確かめる項目です。

細かく止められない場合は、運用の決まりで補います。開始の操作をしてよい人を絞る、テストを組む権限を持つ人を限る、といった形です。共通の認証を使っていない場合の止め方も案内には詳しく書かれていないので、自社の契約の形で確かめます。

止める判断を誰がするかも決めておきます。AIが組んだテストで表記の問題が起きた、クレジットの使い方が想定を大きく超えた、といったときに、止めるかどうかをサイトの責任者と情シスのどちらが決めるかを、表の一行として書いておきます。

外部のAIからテストのデータに触らせるとき

2026年4月には、実験のデータを外部のAIの道具から読めるようにするMCPのサーバーも案内されています。クロードやカーソルなどの道具に対応し、接続には認証の仕組みを使うと説明されています。テストの組み立てを、社内で使っている別のAIの道具から行う道が開いたということです。

この道を使う場合も、ここまでの4つの段と承認の線は変わりません。別の道具から組んだテストでも、開始の前に同じ確認の項目を通します。MCPでつなぐときの審査の一般的な項目、たとえば接続を許す人の絞り方や提供元の確かめ方は、別の記事でまとめている考え方に沿って情シスが確かめます。

つなぐ先のAIの道具が、読み出したテストのデータをどう扱うかは、その道具の契約で決まります。Optimizelyの側の説明だけで安心せず、つなぐ先の契約でも学習や保存の扱いを確かめてから、接続を許します。

運用の面では、承認の記録の表に「どこから組んだか」の列を一つ足しておきます。Optimizelyの画面の中で組んだテストか、外部のAIの道具から組んだテストかが分かれば、差し戻しが多い経路や、確認の項目が抜けやすい経路を振り返りで見分けられます。外部の道具から組んだテストだけ差し戻しが多いなら、その道具で渡している材料や指示の書き方を見直すきっかけになります。

データの扱いと日本での提供条件を契約前に確かめる

Optimizelyの公式の学習教材では、オパールはグーグルのジェミニを業務用の契約で使っており、利用者のデータはモデルの学習に使われず、ほかの顧客と共有されないと説明されています。この説明は安心材料ですが、教材の説明なので、自社の契約の条項でも同じ扱いになっているかを確かめます。

確かめた時点の公式の案内からは、オパールの画面がどこまで日本語で使えるか、日本での提供の条件、会話の記録をどれだけ保存するか、は読み取れませんでした。英語の画面が前提になる可能性も含めて、契約の前に提供元か販売代理店に確かめる項目です。

確かめる項目を一覧にしておくと、契約の打ち合わせで聞き漏らしがなくなります。

• データを学習に使わない扱いが、契約の条項に書かれているか
• オパールの画面と生成される文言が、日本語でどこまで使えるか
• 日本での提供の条件と、販売や支援の窓口
• 会話やテストの記録の保存期間と、管理者が消せるか
• テストを組む機能だけを止められるか、使える人を絞れるか

確かめた答えは、導入の判断の記録に残します。答えが曖昧なままの項目は、運用の決まりで補う方法を書き添えます。たとえば日本語の品質が読めないなら、変更案の段で文章の担当者が必ず読む、という補い方です。

運用を定着させる月次の振り返り

AIがテストを組む運用は、最初の数本より、慣れてきた頃に崩れやすくなります。下書きの質が安定すると、確認の段が少しずつ短くなるからです。月に一度、決まった順番で振り返る場を持つことで、決めた線を保ちます。

振り返りで起きやすい失敗も、あらかじめ書き出しておきます。

• 差し戻しが減ったことを、確認がうまくいっている証拠だと思い込む
• 急ぎのテストで開始の承認を飛ばし、それが例外でなくなる
• AIの結果の要約を、そのまま勝ち負けの判定として社内に報告する
• クレジットの使った量を見ずに、月の途中で使い切ってから気づく

立ち上げの時期は、振り返りを月に一度より細かくします。最初の三本のテストは、全部の段を二人で見て、どの確認に時間がかかったかを書き留めます。三本を終えたら、時間のかかった確認を表の中で誰が持つかを決め直し、そこから月に一度の振り返りに移ります。最初から軽い運用で始めると、何を省いてよいかが分かりません。

四半期に一度は、材料の紙と表記の基準そのものも読み直します。サイトの目的や主な商品が変われば、渡す材料も確かめる言葉も変わります。AIの下書きの質は、人が用意した物差しの鮮度に左右されます。物差しを新しく保つことが、AIにテストを組ませる運用のいちばん地味で、いちばん効く手入れです。

• 機能の内容と提供の時期は、2026年9月時点のOptimizelyの公式リリースノートと公式の案内に基づいています
• 日本語の対応、日本での提供条件、テスト一本あたりのクレジットは、確かめた時点の公式の案内に記載がありません。契約の前に確かめてください

まとめ

OptimizelyのAIは、保存したアイデアから変更案を作り、主な指標と対象者を提案し、人が確かめて開始する形でABテストを組めるようになりました。速くなるのは下書きの段で、公開前に人が決める所は残ります。案の出典を読み、変更の一覧でブランドと表記を確かめ、主な指標を選び直し、見せてはいけない相手を外し、組む人とは別の人が開始を承認して記録する。勝ち負けの判定もAIの要約に任せません。クレジットの持ち主、管理者の止め方、データの扱いと日本での提供条件は契約の前に確かめ、月に一度の振り返りで決めた線を保ちましょう。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。