A/Bテストと有意差：偶然の差か、本当の差か｜マーケターのためのデータ分析・統計入門 第5回

同じものを比べても、差は出る

コインを100回投げると、表がちょうど50回出ることはむしろ珍しく、48回や53回になるのがふつうです。購入率も同じで、AとBがまったく同じページだったとしても、たまたまAに買う気の強い人が少し多く振り分けられれば、Aの購入率のほうが高く出ます。

つまり、A/Bテストで差が出たとき、考えられる可能性は2つあります。

1. 本当に案の違いによる差がある
2. 本当は差がないのに、偶然のぶれで差が出ただけ

この2つを見分けるための道具が、p値と有意差の考え方です。

p値は「差がない」と仮定したときの起こりにくさ

架空の例で考えます。A社がランディングページの新しい案Bを試し、次の結果が出ました。

差は0.5ポイントです。これは偶然でも起こりうる差でしょうか。

そこで、いったん「本当はAとBに差はない」と仮定してみます（この仮定を「帰無仮説」と呼びます）。差がないなら、どちらの購入率も、合わせた平均の2.25％のはずです。この条件で、1万人ずつに分けて購入率を比べる実験を、コンピューターの中で20万回くり返したのが図2です。

差がなくても、偶然のぶれによって、差は0を中心に±0.3ポイントくらいの範囲によく散らばります。では、実際に観測した「±0.5ポイント以上」の差が偶然だけで出たのは何回だったかというと、20万回のうち約1.8％でした。この「差がないと仮定したとき、実際の結果と同じかそれ以上に極端な差が偶然出る割合」が、p値の考え方です（この例のp値は約0.017で、シミュレーションの結果とほぼ一致します）。

p値が小さいほど、「差がない」という仮定のもとでは起こりにくい結果だった、ということになります。そこで、あらかじめ決めた基準（多くの場合0.05）より小さいとき、「差がないという仮定とデータは合わない。偶然だけでは説明しにくい」と判断します。これを「統計的に有意な差がある（有意差あり）」と表現します。基準の0.05は自然の法則ではなく、慣習として広く使われている目安です。

p値の「言えること」と「言えないこと」

p値はとても誤解されやすい数字です。米国統計協会（ASA）は2016年に、p値の誤用が広がっていることを受けて「統計的有意性とp値に関する声明」を発表し、6つの原則を示しました。要点は次のとおりです。

1. p値は、データが特定の統計モデル（ここでは「差がない」という仮定）とどれくらい合わないかを示しうる。
2. p値は、仮説が正しい確率や、結果が偶然だけで生じた確率を表すものではない。
3. ビジネスや政策の判断は、p値がある基準を下回ったかどうかだけで決めるべきではない。
4. 正しい推論には、何を何回試したかを含めた、すべての報告と透明性が必要である。
5. p値は、効果の大きさや結果の重要性を表さない。
6. p値だけでは、モデルや仮説についての証拠としては弱い。

特に実務で多い誤解は次の3つです。

• 「p＝0.02だから、Bが良い確率は98％」：誤りです。p値は「差がない」と仮定したうえでの計算なので、「Bが良い確率」を直接表すものではありません。
• 「有意差があったから、大きな効果がある」：誤りです。データが何十万件もあれば、0.01ポイントのようなごく小さな差でも有意になります。差の大きさは、差そのものと次に説明する信頼区間で見ます。
• 「p＝0.3だったから、AとBに差はない」：誤りです。「偶然でも説明できる」というだけで、「差がない」と証明されたわけではありません。データが少なければ、本当は差があっても有意にならないことはよくあります。

最後の点を確かめてみましょう。同じ2.0％と2.5％でも、訪問数が1,000ずつ（購入20件と25件）だったら、p値は約0.45になります。差の見た目は同じでも、データが少ないと偶然のぶれが大きく、偶然と区別できないのです。必要なデータの量については、次回くわしく扱います。

差の大きさは「信頼区間」で見る

p値と合わせて見たいのが「信頼区間」です。図2の例で、購入率の差（＋0.5ポイント）の95％信頼区間を計算すると、およそ＋0.09〜＋0.91ポイントになります。

信頼区間は、ざっくり言えば「データから考えて、本当の差はこのあたりにありそうだ」という幅です。この例なら「差は0より大きそうだが、0.1ポイント程度の小さな改善かもしれないし、0.9ポイント程度の大きな改善かもしれない」と読めます。区間が0をまたいでいなければ、有意水準5％で有意な差があることとほぼ対応します。

もう一歩深く：「95％信頼区間」の正確な意味
95％信頼区間は、「同じやり方でデータを取り直して区間を作ることを何度もくり返すと、そのうち約95％の区間が本当の差を含む」という意味の区間です。「この区間に本当の差が入っている確率が95％」という言い方は、厳密には正しくありません。ただ、実務では「本当の差のありそうな幅」と理解しておけば、判断を大きく誤ることはありません。

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

A/Bテストでよくある失敗

正しく計算しても、テストの進め方を誤ると結果は信用できなくなります。代表的な失敗を見ていきましょう。

失敗1：途中でのぞいて、良いところで止める

もっとも多い失敗が、テスト中に毎日結果を確かめ、「有意差が出た！」と思った時点でテストを止めてしまうことです。

図4は、AとBがまったく同じページ（A/Aテスト）なのに、毎日p値を計算した例です。偶然のぶれで、5〜6日目にp値が0.05を下回っています。ここで止めれば「有意差あり」と報告してしまいますが、そのまま続けると最終日には0.66まで戻っています。

コンピューターで同じ条件のA/Aテストを5,000回くり返したところ、最終日だけで判断した場合に「有意差あり」と誤って判定されたのは約5％（有意水準どおり）でしたが、28日間毎日のぞいて0.05を下回った時点で止めるルールにすると、約27％で「有意差あり」になりました。のぞくたびに、偶然の当たりくじを引くチャンスが増えるからです。対策は、テストの期間（または必要な人数）を始める前に決め、そこまで判定しないことです。途中で判断する必要がある場合は、くり返し確認することを前提に作られた方法（逐次検定など）を使います。

失敗2：たくさん比べすぎる

案を10個同時に試したり、購入率・クリック率・滞在時間・直帰率など指標を20個見たりすると、本当は効果がなくても、どれか1つくらいは偶然「有意」になります。有意水準5％なら、20回比べれば平均して1回は偶然の「当たり」が出る計算です。テストの前に「主な指標を1つ」決めておき、ほかの指標は参考として扱いましょう。

テストのあとで「スマホの新規客だけで見るとBが勝っている」のように、切り口を探して有意な結果を見つけるのも同じ問題です。後から見つけた切り口は「次のテストで確かめる仮説」として扱います。

失敗3：振り分けの比率がずれている

50％ずつ振り分けたはずなのに、AとBの訪問数が大きくずれていることがあります（例：A 10,000、B 9,200）。これは、ツールの設定ミスや、特定のブラウザでBのページが表示されないなどの不具合のサインです。比率のずれがあると結果が信用できないので、まず原因を調べます。

失敗4：差の大きさとビジネス上の意味を見ない

「有意差あり」は「偶然とは考えにくい」という意味にすぎず、「やる価値がある」という意味ではありません。図5のように、差の大きさと偶然の可能性を分けて考え、改修にかかる費用や手間と比べて判断します。

実務ではこう使う：テスト設計シートを先に書く

A/Bテストは、始める前の設計で結果の信頼性がほぼ決まります。次のような設計シートを、テスト開始前に関係者と共有しておきましょう。

期間は、曜日による違いをならすために、少なくとも1週間単位で設定するのが無難です。Google が無料で提供していたA/Bテストツール「Google オプティマイズ」は2023年9月30日に提供を終了しているため、現在は有料・無料のLPOツールやA/Bテストツールを使うのが一般的です。ツールの選び方はLPOツールおすすめ比較で、A/Bテストで改善を重ねた会社の話はLPOツールの成功事例で紹介しています。

この回のまとめ

• A/Bテストは、同じ期間に無作為に分けた人たちに別の案を見せて比べる方法。無作為に分けることで条件がそろう。
• p値は「差がない」と仮定したとき、実際以上に極端な差が偶然出る割合。小さいほど偶然では説明しにくい。
• p値は「Bが良い確率」でも「差の大きさ」でもない。p値が大きくても「差がない」証明にはならない。
• 差の大きさは、差そのものと信頼区間で見る。
• 途中でのぞいて止めない、比べすぎない、振り分けのずれを確かめる。期間・指標・判断基準は始める前に決める。

確認テスト

次回予告

次回は、「何人のデータがあれば信じられるのか」を扱います。アンケートの誤差の幅の読み方と、A/Bテストを始める前に必要な人数を見積もる考え方を学びます。

参考資料

• American Statistical Association「ASA Statement on Statistical Significance and P-Values」（Wasserstein, R. L. & Lazar, N. A., The American Statistician, 2016）の内容を紹介した ScienceDaily の記事「Statistical significance and p-values」（2016年3月7日、確認日：2026年11月12日）https://www.sciencedaily.com/releases/2016/03/160307092305.htm
• Google アナリティクス ヘルプ「[Sunset September 2023] Google Optimize」（確認日：2026年11月12日）https://support.google.com/optimize/answer/6211951?hl=en