AIの改善案の打率を測る4工程｜採った案の結果を数える

「管理画面の推奨は、従っておけばだいたい数字が良くなるものだと思っていた」「生成AIに出させた改善案を十件ほど採ったのに、どれが効いたのかと聞かれて答えられなかった」。広告やSEOを担当していると、どちらも身に覚えのある声かもしれません。AIの案は理由が添えられていて筋が通って見えるので、採った時点で仕事が片づいた気持ちになるのは無理もないことです。けれども、AIの案がよく当たるというのは、確かめられた事実ではありません。本当は、採った案の結果を種類ごとに数えて、初めて分かる打率です。この記事では、AIの改善案を採ってから打率を出し、次の案の扱いに返すまでの4工程と、記録の欄の作り方を整理します。

「AIの案は当たる」は数えるまで分からない

広告の管理画面には、入札の調整や検索語句の追加を勧める推奨が並びます。SEOの分析ツールは、タイトルの書き換えや内部リンクの追加を提案してきます。生成AIに自社の数字を渡せば、施策の案をいくつでも出してくれます。どれも理由が添えられていて、読めば納得できるものばかりです。

ところが、採った案がその後どうなったかを、案ごとに数えている会社は多くありません。数字が良くなれば「推奨に従ったおかげ」、悪くなれば「市場が冷えたから」と、その場の説明で片づけてしまいがちです。これでは、当たった案だけが記憶に残り、外れた案は理由を付けて忘れられるので、AIの案の実力を実際より高く見積もることになります。

打率を数えるのは、AIを疑うためではありません。どの種類の案なら任せてよく、どの種類なら人が一件ずつ確かめるべきかを、感覚ではなく件数で決めるためです。数えた結果は、次にAIの案を受け取ったときの扱いを変える材料になります。数えずに採り続けると、よく当たる種類と外れやすい種類を同じ重さで扱うことになり、確かめの手間をかける場所を選べません。

数える役は、案を採った担当者本人が持つのが自然です。採ると決めた人が、その場で予想を書き、決めた日に結果を書き込みます。一件あたりの記入は一行で、慣れれば数分もかかりません。別の担当者が後からまとめて記録しようとすると、採った理由も予想も思い出せず、記録の中身が薄くなります。

管理画面の数字は「当たった数」ではない

検索広告の最大手の公式ヘルプは、管理画面に出る最適化スコアを「アカウントがどの程度うまく成果を出せるよう設定されているかの推定値」と説明しています。0から100%で示され、100%はアカウントが持てる力を出し切れる状態を指すとされます。推奨を適用すればスコアは上がりますが、それは設定が整ったことを示すだけで、採った推奨が実際に成果を上げたかどうかを数えた数字ではありません。

同じヘルプは、推奨を見直して適用することが成果の改善に「つながることがある」と、言い切らない表現を使っています。推奨を自動で適用する機能もあり、入札の目標の調整、検索語句の追加、重複した語句の削除といった種類を選んでおけます。適用された推奨は履歴の画面で確かめられますが、履歴に残るのは何をいつ変えたかであって、その後に数字がどう動いたかの判定ではありません。

自動適用の対象は変わることもあります。公式ヘルプによれば、広告文を新しく作って加える種類の推奨は、2026年1月26日から自動適用の対象から外されました。提供する側も、種類ごとに扱いを見直しているわけです。使う側でも、種類ごとの当たり外れを、自社の口座の数字で持っておくことが、推奨と長く付き合う前提になります。

自動適用をオンにしている場合は、もう一つ注意があります。推奨が人の判断を経ずに反映されるので、採った日に予想を書く機会がありません。そこで、週に一度、履歴の画面から自動で適用された推奨を拾って記録に写し、予想の欄には「自動適用のため予想なし」と書きます。自動適用の分は、人が採った分とは別の打率として数えると、自動に任せた種類の実力を後から見比べられます。

他社の実験でも、効く案は少数派

案がどのくらいの割合で効くのかについては、ネットの大手企業が比較実験の結果を公表してきました。技術出版社オライリーの解説記事（2021年）がまとめたところでは、マイクロソフトで試した案は、およそ3分の1が良い結果、3分の1が変化なし、3分の1が悪い結果だったと、同社で実験の仕組みを率いたコハビ氏らが2017年に報告しています。

同じ記事は、予約サイトの大手では案の10件に9件が狙った数字を改善しなかったこと、動画配信の大手については案の9割が誤りだったという発言があることも紹介しています。ただし、これらは画面の変更や広告の文面など、比較実験にかけやすい案に限った数字で、主に技術系の企業の例だと記事自身が断っています。そのまま自社の打率の目安にはできません。

それでも、ここから読み取れることはあります。人が考え抜いた案でも、効くのは少数派だということです。AIの案がそれより高い割合で当たると考える根拠は、今のところ見当たりません。当たるかどうかは、案の説得力ではなく結果の件数でしか分からないという前提に立つと、打率を数える意味がはっきりします。案の説明がうまいほど、外れたときに「今回は運が悪かった」と考えたくなる点にも注意が要ります。

打率は何を何で割った数か

この記事でいう打率は、ある種類のAIの案を採った件数のうち、予想した方向に数字が動いたと判定できた件数の割合です。分母は「採った案の件数」で、出てきた案の件数ではありません。採らなかった案の扱いは別の話になるので、ここでは採った案だけを数えます。

分子の「当たり」を決めるには、採る前に何を当たりとするかを書いておく必要があります。後から「少しは良くなったから当たり」と決めると、ほとんどの案が当たりに見えてしまいます。当たりの条件を先に書くことが、打率という数字の土台です。判定には「当たり」「外れ」のほかに「判定できない」を置き、判定できない案は分母から外して別に数えます。判定できない案が多いときは、比べ方が決まっていなかった、同じ時期に別の施策を重ねた、などの原因が隠れているので、その割合も打率とは別に報告します。

この打率を出すまでの流れは、次の4工程です。

数える案を3つの出どころに分ける

AIの改善案の出どころは、大きく3つに分けておくと数えやすくなります。広告の管理画面の推奨、SEOの分析ツールの改善提案、そして担当者が生成AIに出させた施策案です。出どころによって、案の細かさも、効き目が出るまでの時間も違います。

管理画面の推奨は、入札や検索語句のように細かく、数日から数週間で数字に出るものが多い傾向があります。SEOの改善提案は、タイトルや内部リンクなどページ単位の変更で、検索の順位に反映されるまで時間がかかります。生成AIの施策案は、メールの件名の方針から記事の企画まで幅が広く、一件の大きさがまちまちです。出どころを混ぜて一つの打率にすると、何が当たっているのかが読めなくなります。

実際の運用では、まず一つの出どころから始めるのが無理のないやり方です。件数が多く、結果が早く出る管理画面の推奨から数え始め、記録の書き方に慣れてから他の出どころに広げます。最初から全部を数えようとすると、記録の手間が重くなって続かないので、三か月ほど一つの出どころで回してから広げるのが目安です。

同じ中身の案が、複数の出どころから届くこともあります。SEOの分析ツールと生成AIが、同じページのタイトルの書き換えを勧めてきた、という場合です。記録には実際に採った文面を出した側を提案元として書き、もう一方の名前は内容の欄に添えておきます。二つの出どころの打率を同じ案で二重に数えないことが、この場合の決まりです。

工程1　採る時点で予想を書く

一つ目の工程は、案を採るその日に、予想を一行で書くことです。何の数字が、どちらの方向に、どれくらい動くと思ったか、いつまでに確かめるか。この四つを書きます。たとえば「この検索語句の追加で、4週間後の問い合わせ件数が月に数件増える」という形です。

予想の幅は大まかでかまいません。大事なのは、結果を見る前に、何を当たりとするかを決めておくことです。結果を見てから予想を書くと、人は無意識に結果へ予想を寄せてしまいます。採った日に書けなかった案は、打率の分母に入れず、「予想なし」として別に数えます。

AIの案に理由が添えられているなら、その理由も写しておきます。管理画面の推奨には、見込まれる効果の目安が表示されることがあります。生成AIの案なら、その案が効くと考える根拠をAIに書かせて、一緒に残します。後で外れたとき、理由のどこが違っていたのかを振り返る手がかりになり、同じ種類の案を次に受け取ったときの確かめ方も変えられます。

予想の書き方の型

予想は、書き方をそろえると後で集計しやすくなります。「何の数字が」「どちらへ」「どれくらい」「いつまでに」の四つを、案ごとに同じ順番で書く型を決めておきます。数字の名前も、問い合わせ件数、クリック率、表示回数など、社内で呼び方を一つに決めておきます。

よくある崩れ方は、予想を「改善する」「良くなる」とだけ書くことです。これでは、どの数字がどれだけ動いたら当たりなのかが決まりません。もう一つは、一つの案に複数の数字の予想を並べることです。三つの数字のうち一つでも上がれば当たり、という読み方ができてしまい、当たりの基準がゆるむ原因になります。狙いの数字は一つに絞り、他の数字は「悪くならないこと」の確認に回します。

生成AIに予想の下書きを頼むこともできます。案の内容と直近の数字を渡して、型に沿って四つを埋めさせます。ただし、どれくらい動くかの見込みは、AIが出した数字をそのまま使わず、担当者が過去の経験に照らして書き直します。予想の責任は、案を採ると決めた人が持ちます。

型に沿った予想と崩れた予想を並べると、違いがよく分かります。崩れた例は「内部リンクを足して、ページの評価を上げる」です。型に沿うと「内部リンクを5本足し、8週間後にこのページの検索からの訪問が前年同期より増える」となります。後者なら、8週間後に数字を一つ見るだけで当たりか外れかを決められます。予想を書くのに迷う案は、そもそも何を狙った案なのかが決まっていない合図でもあります。

工程2　比べ方を決める

二つ目の工程は、結果を何と比べるかを、採る時点で決めることです。一番手軽なのは、採る前の一定期間と、採った後の同じ長さの期間を比べる前後比較です。手軽ですが、落とし穴の多い比べ方でもあります。

比べ方には、ほかの選択肢もあります。同じ種類の案を一部のキャンペーンやページにだけ当て、当てなかった側と並べて比べる方法です。広告の管理画面には比較実験の機能があり、SEOでも性格の似たページを二つの組に分けて比べるやり方があります。当てた側と当てない側を同じ期間で比べられれば、季節や市場の変化の影響を大きく減らせます。効くかもしれない案を一部に当てないのは損に見えますが、打率が分からない種類ほど、当てない側を残して比べる価値があります。打率が高いと分かった種類は、前後比較で済ませても大きな誤りにはなりにくいでしょう。

どの比べ方を使うかは、案の種類ごとに決めておきます。確かめる期間の長さも同じです。期間の決め方そのものは別の記事で扱っているので、ここでは、比べ方と期間を採る時点の記録に書き込んでおくことだけを押さえます。後から都合の良い比べ方を選ぶと、打率は簡単に水増しされます。

前後比較で起きる3つの見誤り

前後比較を使うなら、少なくとも三つの見誤りを知っておきます。一つ目は季節です。年度末や大型連休の前後、業界の繁忙期をまたぐと、案と関係なく数字が動きます。前の年の同じ時期の動きを並べて見るだけでも、見誤りはかなり減らせます。

二つ目は、同じ時期に打った他の施策です。広告の予算を増やした週に推奨を適用すれば、どちらが効いたのか分かりません。案を採る日に、同じ期間に予定している他の施策を記録に書き出しておき、重なりが大きい案は「判定できない」に回します。無理に当たりか外れかを決めるより、打率の信頼を保てます。

三つ目は、元に戻る動きです。統計では平均への回帰と呼ばれ、英国の研究者ゴルトンが1877年に種子の重さの研究で見いだした現象として知られています。たまたま数字が大きく落ちた時期は、何もしなくても次の時期には平均に近づきやすいのです。数字が落ち込んだ直後に採った案は、実際より効いたように見えるので、落ち込みをきっかけに採った案は、判定を一段慎重にします。

三つの見誤りに加えて、期間の区切り方にも気をつけます。前と後の期間で曜日の並びや営業日の数が違うと、それだけで件数が動きます。前後の期間は週の単位でそろえ、祝日の多い週は片方にだけ入らないように区切ります。記録の予想の欄に「前後4週間ずつ、祝日の週を除く」のように書いておけば、判定のときに迷いません。

工程3　案の種類ごとに集計して打率を出す

三つ目の工程は、判定の済んだ案を種類ごとに集め、打率を出すことです。種類は、出どころに加えて、何を変える案かで分けます。管理画面の推奨なら入札の調整、検索語句の追加、語句の削除、広告文の変更。SEOの提案ならタイトル、見出しの構成、内部リンク、表示速度。生成AIの案なら企画、文面、配信の時期といった具合です。

仕分けの下ごしらえは、AIに任せられます。記録の表を渡し、決めておいた種類の一覧から一つを選ばせ、選んだ理由を一文で書かせます。当たり外れの判定はさせないことを、頼む文の中ではっきり書いておきます。

次の表は、採用した改善案の記録です。1行ずつ、下の種類から一つを選んでください。
種類：入札の調整／検索語句の追加／語句の削除／広告文の変更／タイトルの変更／内部リンク／その他
各行に、行番号・種類・その種類にした理由（一文）を書いてください。
当たり外れの判定はしないでください。迷ったものは「その他」とし、迷った点を理由に書いてください。

返ってきた仕分けは、担当者が全件に目を通して直します。「その他」が多く出てきたら、種類の一覧のほうを見直す合図です。集計は月に一度、判定が済んだ案だけを対象に行い、判定の済んでいない案を「当たり」にも「外れ」にも数えないようにします。種類ごとの件数と当たりの件数を並べれば、打率の表ができあがります。

種類の一覧は、全体で10前後に抑えておくのが扱いやすい大きさです。細かく分けるほど一つの種類に入る件数が減り、いつまでも打率が読めません。反対に、三つか四つにまとめると、当たる案と外れる案が同じ箱に入ってしまいます。半年ほど回して件数の偏りが見えてきたら、分け方を一度だけ見直します。

記録の欄と記入例

4つの工程は、一枚の記録の表で回します。欄は七つで足ります。新しい道具をそろえる必要はなく、表計算の一枚でかまいません。

欄	書く内容	記入例
提案元	管理画面の推奨・SEOツール・生成AIのどれか	広告の管理画面の推奨
内容	何をどう変える案か。種類も添える	検索語句を3つ追加（検索語句の追加）
採った日	実際に反映した日	2026年9月1日
予想	何の数字が・どちらへ・どれくらい・いつまでに。比べ方も一言	4週間後、問い合わせが月に数件増える（前年同期と並べて比較）
結果	決めた比べ方で測った数字	当てた側で月2件増、前年同期は横ばい
判定	当たり・外れ・判定できない。理由を一文	当たり（同じ期間に別の施策なし）
判定した人	判定を下した担当者の名前	広告担当の担当者名

欄の中で飛ばされやすいのは、予想と判定した人です。予想が空欄の行は、後から埋めることができないので、分母に入れずに別に数えます。判定した人の欄は、AIではなく人が判定したことを残すための欄です。比べ方や期間も独立した欄にしたくなりますが、欄を増やすほど記入が止まるので、予想の欄の中に一言添える程度にします。

施策全般の記録の付け方は別の記事で扱っているので、ここではAIの案に絞った欄にとどめています。すでに施策の記録の表を持っている会社は、新しい表を作らず、既存の表に提案元と予想の欄を足すだけでも始められます。

件数が少ないときの読み方

打率を出し始めて最初にぶつかるのは、件数の少なさです。ある種類の案が3件あって2件当たれば、打率は7割近くに見えます。しかし、次の1件が外れれば5割になります。件数が少ないうちは、割合より「何件中何件」をそのまま書くほうが、読む人の誤解を防げます。

• 件数が10件に満たない種類は「何件中何件」で書き、割合だけで扱いを変えない
• 判定できない案は分母に入れず、件数を別に書く
• 似た種類をまとめて数えるときは、まとめた日と理由を記録に残す

10件という数は統計の厳密な基準ではなく、数件の偶然で扱いを振り回されないための社内の決めごとです。件数がたまりにくい種類は、似た種類とまとめて数えるか、集計の期間を延ばします。まとめ方を途中で変えると打率の比べようがなくなるので、変えた日を残しておきます。

もう一つの読み方は、外れの中身を見ることです。件数が少なくても、外れた案に共通点があれば、打率より先に手を打てます。たとえば、予算の小さいキャンペーンに当てた推奨ばかりが外れているなら、その条件では採らないと決められます。少ない件数では、打率より外れの共通点のほうが多くを教えてくれると考えておくと、数え始めの時期も無駄になりません。

工程4　打率で次の案の扱いを変える

四つ目の工程は、打率を次の案の扱いに返すことです。数えただけで扱いが変わらなければ、記録は手間でしかありません。扱いは、そのまま採る、人が一件ずつ確かめてから採る、採らない、の三段階に分けると決めやすくなります。

打率が高く件数もたまった種類は、確かめを軽くしてかまいません。逆に、打率の低い種類は自動適用の対象から外し、一件ずつ人が見てから採るようにします。管理画面の自動適用は種類ごとに選べるので、打率の低い種類の推奨は自動で適用しない設定にしておきます。生成AIの施策案でも、外れの多い種類の案は、小さな範囲で試してから広げる扱いにします。

扱いを変えた日と理由も、記録に残します。打率は時期によって変わりますし、管理画面の推奨の仕組みそのものが変わることもあります。半年ごとに打率を出し直し、扱いを見直すと決めておけば、以前は外れが多かった種類が当たるようになったときにも気づけます。一度決めた扱いを固定しないことが、この工程を形だけにしないこつです。

「採らない」の段階に回す前に、外れの条件を確かめます。打率の低い種類でも、外れがある条件に集まっていれば、その条件を外して採る扱いにできます。条件を絞っても当たらない種類だけを、採らない側に回します。採らないと決めた後に届いた同じ種類の案は、採らなかった案として別の記録に残し、打率の分母には入れません。

打率を報告するときの書き方

打率を上司や経営に報告するときは、打率の数字だけを出さないようにします。一緒に書くのは、種類ごとの件数、判定できなかった件数、比べ方の三つです。「推奨の打率は6割」とだけ書くと、20件中12件なのか5件中3件なのか、比べ方は前後比較なのかが伝わりません。

報告で気をつけたいのは、当たった案の効果を足し上げて「AIの案で問い合わせが何件増えた」と書くことです。一件ずつの判定には季節や他の施策の影響が残っていて、足し上げるとその誤差も積み上がります。報告するのは効果の合計ではなく、種類ごとの当たりやすさと割り切ったほうが、数字への信頼を保てます。

報告の最後には、打率を受けて何を変えたかを書きます。自動適用を止めた種類、確かめを軽くした種類、次の期に試す種類です。打率の報告は、成績表ではなく扱いを変えた記録として読まれるようにすると、担当者も外れを隠さずに記録できます。外れを書くと評価が下がる雰囲気では、予想の欄から先に空欄が増えていきます。

報告の頻度は、集計と同じ月次にする必要はありません。月に一度の集計を三回分ためて、四半期ごとに報告するくらいがちょうどよい間隔です。一か月分だけでは件数が少なく、打率が偶然で上下します。三か月分を並べれば、打率が上向いているのか、たまたまの一か月だったのかを見分けやすくなります。

AIに任せる範囲と、ありがちな失敗

この4工程でAIに任せるのは、記録の集計と、案の種類への仕分けの下ごしらえまでです。種類ごとの件数を数える、打率の表を作る、記録の書き漏れを見つける、といった作業はAIが得意とするところです。

一方で、効いたかどうかの判定はAIにさせません。AIに判定させず、根拠の数字を並べたうえで人が判定することを決まりにします。生成AIに結果の数字を渡して効いたかを尋ねれば、それらしい理由を付けて答えを返しますが、季節や他の施策の影響を本当に切り分けられているかは確かめようがありません。人が確認する範囲を先に決め、判定の欄には人の名前を書きます。

• 採った後に予想を書く：結果に合わせて予想を寄せてしまい、打率が実際より高くなる
• 出どころを混ぜて一つの打率にする：どの種類の案が当たっているのかが読めない
• 数件で扱いを変える：偶然の当たり外れに振り回される
• 判定をAIに任せる：もっともらしい理由と判定が並び、誰も確かめない
• 数えるだけで扱いを変えない：記録が手間になり、数か月で止まる

失敗の多くは、記録を立派にしすぎることから始まります。欄を増やし、すべての出どころを最初から数えようとすると続きません。一つの出どころ、七つの欄、月に一度の集計から始めるのが、打率を数え続けるための近道です。

まとめ

AIの改善案が当たるかどうかは、採った案の結果を種類ごとに数えるまで分かりません。管理画面の最適化スコアは設定の整い具合の推定値で、採った推奨が効いた数ではありません。大手のネット企業が公表した比較実験でも、効いた案は少数派でした。打率は、採る時点で予想を書く、比べ方を決める、種類ごとに集計して打率を出す、打率で次の案の扱いを変える、の4工程で出します。記録は提案元・内容・採った日・予想・結果・判定・判定した人の七つの欄で足り、件数が少ないうちは「何件中何件」で読みます。AIに任せるのは記録の集計と種類への仕分けまでで、効いたかどうかの判定は根拠の数字を見て人がします。まずは管理画面の推奨から一つの出どころを選び、次に採る案の予想を一行書くところから始めてみてください。

※本記事にはAIが活用されています。編集者が確認・編集し、可能な限り正確で最新の情報を提供するよう努めておりますが、情報の完全性、正確性、最新性、有用性等について保証するものではありません。本記事の内容に基づいて行動を取る場合は、読者ご自身の責任で行っていただくようお願いいたします。