サンプルサイズと誤差：何人のデータがあれば信じられるか｜マーケターのためのデータ分析・統計入門 第6回

誤差の幅：「±何ポイント」を読む

アンケートの結果に「満足している：62％（誤差±3ポイント）」のように、誤差の幅が添えられていることがあります。これは、「無作為に選んだ標本から計算すると62％だったが、本当の値はおおよそ59〜65％のどこかにありそうだ」という意味です。前回の信頼区間と同じ考え方です。

総務省統計局の労働力調査の解説では、標本の取り方をくり返したときの推定値のばらつきを「標準誤差」と呼び、推定値と本当の値の差が標準誤差の2倍に収まる確率はおよそ95％だと説明しています。アンケートなどで割合を推定するときの「95％の目安の誤差の幅」は、次の式でおおよそ計算できます。

誤差の幅 ≒ ±1.96 × √（割合 ×（1 − 割合）÷ 人数）

式を覚える必要はありません。大事なのは、次の図2に表れている性質です。

ここから分かることは2つです。

1. 誤差の幅は人数の平方根に反比例する：人数を4倍にすると幅は半分、100倍にすると幅は10分の1になります。100人から400人に増やすと幅は大きく縮みますが、2,500人から1万人に増やしても1ポイントしか縮みません。人数を増やすほど、費用のわりに精度は上がりにくくなります。
2. 母集団の大きさにはほとんど左右されない：意外かもしれませんが、母集団が5万人でも5,000万人でも、無作為に選んだ1,000人の誤差の幅はほぼ同じです（母集団に対して標本がかなり大きいときは、少し小さくなります）。スープの味見に必要なスプーンの大きさが、鍋の大きさにほとんど関係ないのと同じです。

前月との「差」を読むときの注意

誤差の幅を知っていると、数字の上がり下がりの読み方が変わります。たとえば、400人のアンケートで満足度が先月52％、今月55％だったとします。誤差の幅はそれぞれ約±5ポイントあるので、3ポイントの上昇は偶然のぶれの範囲に十分収まります。「満足度が上がった」と報告する前に、誤差の幅と見比べる習慣をつけましょう。

人数を増やしても消えない「偏り」

誤差の幅の計算は、「無作為に選んだ」ことが前提です。この前提が崩れていると、人数をいくら増やしても正しい答えには近づきません。

図3の3つ目の的のように、点がぎゅっと集まっていても、的の中心から外れていれば正しい答えではありません。マーケティングの調査では、次のような偏りが起こりがちです。

• 答える人の偏り：購入後のアンケートに答えるのは、特に満足した人か、特に不満がある人に偏りやすい。SNSでの投票は、そのアカウントのファンに偏る。
• 選び方の偏り：メールアドレスを登録している会員だけに聞くと、メールを見ない会員の声が抜け落ちる。
• 聞き方の偏り：「当社の新サービスはとても便利ですが、使ってみたいですか？」のような誘導的な質問は、回答を一方に寄せる。
• 答えない人の偏り：回答率が低いと、答えた人と答えなかった人の違いが結果をゆがめる。

よくある誤解：「1万人に聞いたから正確」

回答者の数が多いことは、ぶれが小さいことを保証しますが、偏りがないことは保証しません。偏った方法で集めた1万人の回答より、無作為に選んだ1,000人の回答のほうが、全体の姿を正しく表すことはよくあります。調査結果を見るときは、人数だけでなく「誰に、どうやって聞いたか」を必ず確かめましょう。

A/Bテストに必要な人数を見積もる

前回、A/Bテストでは期間や人数を「始める前に決める」ことが大切だと説明しました。では、何人いれば足りるのでしょうか。必要な人数は、主に次の3つで決まります。

1. 今の数値（ベースライン）：今の購入率が2％なのか20％なのか
2. 見つけたい差の大きさ：2.0％を3.0％に上げる大きな改善を見つけたいのか、2.2％の小さな改善まで見つけたいのか
3. 判断の厳しさ：有意水準（多くは5％）と、本当に差があるときにそれを見つけられる確率（検出力、多くは80％）

図4は、購入率2.0％のページで、両側の有意水準5％・検出力80％として計算した、1案あたりに必要な訪問数の目安です。2.0％を2.5％に上げる改善（相対的に25％の改善）を見つけるには1案あたり約1万4,000訪問、2.2％（10％の改善）なら約8万訪問が必要になります。見つけたい差が半分になると、必要な人数はおよそ4倍になります。

ここから、実務上の大事な判断が生まれます。

• 訪問数が少ないサイトでは、小さな改善はテストで確かめられない：月に1万訪問のサイトで2.0→2.2％の差を確かめようとすると、2案で16万訪問、つまり1年以上かかります。こうした場合は、見出しやオファーなど、大きな差が出そうな変更に絞ってテストするのが現実的です。
• 「検出力」が低いと、本当は効く改善を見逃す：人数が足りないままテストを終えると、本当は効果がある案でも「有意差なし」になりやすくなります。前回学んだとおり、「有意差なし」は「効果なし」ではありません。

必要な人数は、多くのA/Bテストツールや、統計ソフト・表計算ソフトで計算できます。テストの設計シートに「必要な人数」と「それが集まるまでの期間」を書いてから始めましょう。

もう一歩深く：検出力とは
検出力は、「本当に一定以上の差があるとき、テストでそれを有意と判定できる確率」です。検出力80％とは、本当に効く案のうち5回に1回は見逃してしまう、ということでもあります。見逃しを減らしたければ検出力を上げますが、そのぶん必要な人数は増えます。

この記事の監修者に相談できます

監修者の田中磨生が代表を務める株式会社Abinで、ご相談をお受けしています。

相談無料ツギノテ編集部に相談する→

母数が小さい割合は、極端に出やすい

最後に、日々のレポートでよく出会う落とし穴を紹介します。店舗別、担当者別、広告別、記事別など、たくさんのグループの「割合」を並べてランキングにするときです。

図5は、本当の購入率がすべて5％の60店舗を、コンピューターの中で作った例です。それでも、訪問数の少ない店舗では、偶然のぶれで7％になったり3％になったりします。購入率のランキングを作れば、上位にも下位にも訪問数の少ない店舗が並びやすくなります。「トップ店舗のやり方を全店に広げよう」と考える前に、その店舗の母数が十分か、点線（偶然のぶれの範囲）の外に出ているかを確かめましょう。

同じことは、「記事Aは5人中3人がクリック（60％）」「新しい広告は10件中4件が成約（40％）」のような、小さな母数の割合にも当てはまります。割合を報告するときは、必ず母数（何件中か）を添えましょう。

実務ではこう使う：数字に「n」と「幅」を添える

この回の内容を実務に生かす一番簡単な方法は、割合や平均を報告するときに、必ず次の2つを添えることです。

そのうえで、調査を設計するときは「誰に、どうやって聞くか（偏りを防ぐ）」と「何人に聞くか（ぶれを抑える）」を両方決めます。アンケートの設計や分析を専門の会社に任せる場合は、データ分析会社おすすめ比較も参考にしてください。

この回のまとめ

• 一部（標本）から全体（母集団）を推し量るとき、誤差は避けられない。誤差には「ぶれ（標本誤差）」と「偏り（非標本誤差）」がある。
• ぶれの幅は人数の平方根に反比例する。人数を4倍にすると幅は半分。母集団の大きさにはほとんど左右されない。
• 偏りは人数を増やしても消えない。「誰に、どうやって聞いたか」を確かめる。
• A/Bテストに必要な人数は、今の数値・見つけたい差・判断の厳しさで決まる。差が半分なら人数は約4倍。
• 母数の小さい割合は極端に出やすい。割合には必ずnと誤差の幅を添える。

確認テスト

次回予告

次回は、顧客を「分けて見る」分析を学びます。平均の中に隠れた違いを見つけるセグメント分析、購入の新しさ・回数・金額で顧客を分けるRFM分析、始めた時期ごとに顧客の定着を追うコホート分析を、架空のA社のデータで試していきます。

参考資料

• 総務省統計研究研修所 奥積雅彦「統計図書館コラム【雑学編】No.1013 統計を生かすための留意点」（確認日：2026年11月12日）https://www.stat.go.jp/library/pdf/column1013.pdf
• 総務省統計局「労働力調査 標本設計の解説」（平成30年4月、確認日：2026年11月12日）https://www.stat.go.jp/data/roudou/hyohon/pdf/18hyohon.pdf