A/Bテストの設計と判断：何を比べ、いつ止め、どう決めるか｜LP・CVR改善の教科書 第5回

A/Bテストの設計書に書く5つのこと

A/Bテストは、始める前の設計で成否がほぼ決まります。テストを始める前に、図2の5つのことを1枚の設計書に書いておきましょう。

①仮説

「何を、なぜ、どう変えると、どうなるはずか」を書きます。たとえば、「広告の見出しは『中小企業向け』なのに、ファーストビューのコピーが大企業向けの表現になっている。見出しに合わせてコピーを変えれば、自分向けだと感じる人が増え、CTAのクリック率が上がるはずだ」というように書きます。

仮説がないテストは、結果が出ても学びが残りません。「Bのほうが良かった」だけでは、次に何をすればよいか分からないからです。仮説があれば、「やはり流入とのずれが問題だった。ほかの広告とのずれも直そう」と次につながります。

②変えるところ

1回のテストで変えるのは、1つの考え方 に絞ります。「コピーも画像もボタンも全部変える」と、Bが勝っても何が効いたのか分かりません。ただし、「1か所だけ」と厳密に考えすぎる必要はありません。「ファーストビューを、流入の言葉に合わせて作り直す」という1つの考え方の中で、コピーと画像を一緒に変えるのは問題ありません。

③見る指標

どの数字で勝ち負けを決めるか（主な指標）を、事前に決めます。LPならCVRやCTAのクリック率がよく使われます。あわせて、悪くなっていないか見張る指標 も決めておきます。たとえば、CVRは上がったが商談化率が下がった、返品が増えた、といったことがないかを確かめます。第1回で学んだ「CVRは質とセットで見る」という考え方です。

④必要な人数と期間

テストに必要な人数と期間も、始める前に決めます（詳しくは次の節で説明します）。期間は、少なくとも 曜日を一巡させる（1週間単位） のが基本です。平日と週末で来る人の性質が違うことが多いからです。

⑤判断のルール

「主な指標でBがAより統計的に意味のある差で上回り、見張る指標が悪化していなければ、Bを採用する」のように、どうなったら採用し、どうなったらやめるかを事前に決めます。結果を見てから基準を決めると、都合の良い解釈をしてしまいがちだからです。

どれくらいの人数が必要か

A/Bテストで最もよくある失敗は、人数が足りないまま判断してしまう ことです。

たとえば、AとBにそれぞれ5,000人ずつ来て、AのCVは100件（CVR 2.0%）、BのCVは120件（CVR 2.4%）だったとします（架空の例）。Bのほうが20%も良く見えます。しかし、この差を統計的に検定すると、p値はおよそ0.17になります。つまり、「本当は差がなくても、偶然これくらいの差が出ることは、珍しくない」という結果です。

p値や統計的に意味のある差（有意差）の考え方は、マーケターのためのデータ分析・統計入門 第5回で詳しく扱っています。ここでは、「差が小さいほど、それを見分けるには多くの人数が必要になる」ということを覚えておいてください。

この表は、よく使われる条件（有意水準5%、検出力80%、両側検定）で、2つの割合の差を見分けるのに必要な人数を計算した目安です。CVRが低いLPで小さな改善を見分けようとすると、1グループに2万人以上が必要になることが分かります。

人数が足りないときはどうするか

訪問者が少ないLPでは、細かい改善のA/Bテストはなかなか結論が出ません。その場合は、次のような工夫をします。

• 大きな変更をテストする：ボタンの文言より、ファーストビューの訴求そのものを変えるような、大きな差が出そうなテストを優先する
• 手前の指標で見る：CV（送信）より数の多い、CTAのクリック率などで比べる。ただし、後ろの数字も確かめる
• テストしない判断もする：明らかな不具合（スマホで崩れている、フォームのエラーが分かりにくい）は、テストせずにすぐ直す

結果の読み方とありがちな失敗

ありがちな失敗

A/Bテストでよくある失敗と防ぎ方をまとめたのが、図3です。

最も注意したいのは、途中で結果を見て、良さそうなときに止めてしまう ことです。テストの途中では、差は大きくなったり小さくなったりを繰り返します。毎日結果を見て、「今日はBが勝っている、止めよう」と判断すると、本当は差がないのに「差がある」と結論してしまう確率が大きく上がります。だからこそ、人数と期間を先に決めて、そこまで待つ ことが大切です。

ほかにも、「数日で判断する」「一度にたくさん変える」「CVRだけ見て決める」といった失敗があります。どれも、設計書をきちんと書いておけば防げるものです。

結果の受け止め方

テストが終わったら、差の大きさ と 確からしさ の2つで結果を受け止めます（図4）。

• 差が大きく、確からしい：採用する。後ろの数字も確かめてから本番に反映する
• 差は小さいが、確からしい：採用してよいが、効果は小さい。手間とのバランスで判断する
• 差は大きいが、偶然かもしれない：人数を増やす、期間を延ばすなどして追加で検証する
• 差が小さく、偶然かもしれない：今回は見送る。仮説を見直して次のテストへ

「差がなかった」という結果も、立派な学びです。「この要素は、思ったほどCVRに影響しない」と分かれば、次はもっと影響の大きそうな場所に時間を使えます。

もう一歩深く：テストの「仕組み」そのものを疑う

結果を読む前に、テストの仕組みが正しく動いていたかも確かめましょう。代表的な確認方法が2つあります。

1つ目は、振り分けの比率 です。AとBに半分ずつ振り分ける設定なのに、実際の人数がA 5,000人・B 4,300人のように大きくずれていたら、振り分けか計測のどこかに問題がある可能性があります。たとえば、Bのページだけ表示が遅く、計測タグが読み込まれる前に離脱した人が数えられていない、といったことが起こります。この状態で出た結果は信用できません。

2つ目は、A/Aテスト です。まったく同じLPを2つに分けてテストし、差が出ないことを確かめる方法です。ツールを新しく入れたときに一度行っておくと、ツールの設定や計測に問題がないかを確認できます。

また、AとBだけでなく、C・Dと案を増やしてテストする場合（A/B/nテスト）や、結果を「スマホだけ」「新規の訪問者だけ」などに分けて見る場合は注意が必要です。比べる組み合わせが増えるほど、偶然どれかが「勝って」見える確率が上がるからです。案を増やすなら必要な人数も増えること、分けて見た結果は「次のテストの仮説」として扱うことを覚えておきましょう。

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

よくある誤解：「A/Bテストは勝ちパターンを見つけるもの」

A/Bテストというと、「勝ちパターンを見つけて、それを使い続けるもの」と思われがちです。しかし、ある時点で勝ったLPが、ずっと勝ち続けるとは限りません。流入する人が変われば、刺さる言葉も変わります。

A/Bテストの本当の価値は、「なぜ勝ったのか、なぜ負けたのか」という学びを積み重ねること にあります。「価格の安さより、導入の手軽さを伝えたほうが反応が良い」という学びは、LPだけでなく、広告やメール、営業トークにも使えます。だからこそ、仮説を立ててからテストし、結果を記録しておくことが大切なのです。記録の方法は第6回で扱います。

実務ではこう使う

A/Bテストを始めるときは、次の設計書のひな形を使ってみましょう。

この表を、テストのたびに1行ずつ記録していくと、それ自体が自社の「勝ちパターンの理由」の資料になります。テストの実施やツール選びの事例は、LPOツールの成功事例も参考になります。

この回のまとめ

• A/Bテストは、同じ期間の訪問者をランダムに分けて比べることで、LP以外の条件をそろえる方法
• 設計書には、仮説・変えるところ・見る指標（主と見張り）・人数と期間・判断のルールを書く
• 差が小さいほど多くの人数が必要。CVRが低いLPの小さな改善は、1グループ2万人以上必要になることもある
• 途中で見て良さそうなときに止めない。人数と期間を先に決めて待つ
• A/Bテストの価値は、勝ち負けより「なぜか」という学びの積み重ね

確認テスト

次回予告

第6回は「ヒートマップと改善サイクル」です。ヒートマップで分かること、データの「症状」から仮説を立てる方法、改善を続けるための記録の仕方を学び、全6回の総まとめをします。

参考資料

• Google アナリティクス ヘルプ「[Sunset September 2023] Google Optimize」 https://support.google.com/analytics/answer/12979939?hl=en （確認日：2026年11月12日）
• 本文の必要人数とp値は、2つの割合の差の検定（有意水準5%、検出力80%、両側検定）の標準的な計算式で、架空の数値をもとに計算したものです。