Power analysis와 MDE — 실험 시작 전에 표본·기간을 정직하게 잡는 법

A/B 시작 전 "표본 얼마나 모아야?"의 답이 power analysis. 검출력 80%로 검출 가능한 최소 효과(MDE)를 미리 계산해 실험 기간·해석 한도를 명확히 잡는 흐름.

A/B 실험을 시작하기 전 "표본 얼마나 모으면 돼?"라는 질문에 답하지 못하면, 결과 단계에서 "p-value 0.07이라 결론 못 냄"이 흔히 나옵니다. Power analysis는 그 질문에 답하는 표준 도구이고, MDE(Minimum Detectable Effect) 개념이 결정의 핵심입니다. 실험 시작 전 한 번의 계산이 실험 운영의 절반을 정직하게 만듭니다.

마케터가 이 글을 읽어야 하는 이유: 실험 결과 회의에서 "결론 보류"가 자주 나오는 자리는 사실 실험 시작 전의 power analysis 부족이 원인입니다. 검출력·MDE를 미리 계산하면 "이 실험은 +3%p 이상 효과만 검출 가능하다"는 한도를 알고 시작할 수 있습니다.

N이 커질수록 MDE가 작아진다. 그 곡선 위에서 실험 디자인이 결정된다.

1. 4개 변수의 관계

A/B 실험의 통계적 결정은 4개 변수가 서로 묶여 있습니다.

변수	의미
$N$	표본 크기 (그룹당)
$\delta$	효과 크기 (MDE)
$\alpha$	양측 유의수준 (보통 0.05)
$1-\beta$	검출력 (보통 0.80)

이 4개 중 3개를 정하면 나머지 1개가 결정됩니다.

N과 $\alpha$, $1-\beta$를 정하면 → MDE가 결정 (이만큼 작은 효과까지 검출 가능) $\delta$, $\alpha$, $1-\beta$를 정하면 → 필요한 N이 결정

마케팅 자리에서 가장 자주 마주치는 건 두 번째 — "이만큼 효과면 의미 있을 것 같으니 표본 얼마나 모을까?".

이 글의 전제

A/B 테스트·신뢰구간·검출력 같은 단어를 일상으로 쓴다고 가정합니다. 코드를 직접 짠 적은 없어도 됩니다.

2. 표본 크기 공식

이항 비율(전환율) 비교의 표준 공식.

$$N=\frac{(z_{\alpha /2}+z_{\beta }{)}^2\cdot 2p(1-p)}{{\delta }^2}$$

• $p$: baseline 전환율
• $\delta$: 검출하고자 하는 절대 효과 크기
• $z_{\alpha /2}=1.96$ (양측 5%)
• $z_{\beta }=0.84$ (검출력 80%)

예시: baseline 전환율 5%, 효과 1%p (5% → 6%) 검출.

• $p=0.055$, $\delta =0.01$
• $N=\frac{(1.96+0.84{)}^2\cdot 2\cdot 0.055\cdot 0.945}{0.01^2}\approx 8136$

각 그룹 8,136명, 총 16,272명. 효과 크기를 절반(0.5%p)으로 잡으면 표본은 4배(32,500+).

3. MDE — 표본 거꾸로 풀기

표본이 정해져 있을 때 거꾸로 검출 가능한 최소 효과를 풉니다.

$$\text{MDE}=(z_{\alpha /2}+z_{\beta })\cdot \sqrt{\frac{2p(1-p)}{N}}$$

예시: 그룹당 5,000명, baseline 5%.

• MDE $\approx 2.8\cdot \sqrt{2\cdot 0.05\cdot 0.95/5000}\approx 0.0122$
• 약 1.22%p

이 실험은 +1.22%p 이상의 효과만 통계적으로 검출. +1%p 효과는 결과 보류 위험.

그룹당 N	MDE (baseline 5%)
1,000	2.7%p
5,000	1.2%p
10,000	0.85%p
50,000	0.38%p

작은 효과를 잡으려면 표본 폭증. 보통 +1%p 이하 효과를 잡으려면 그룹당 1만+ 필수.

4. 코드 한 묶음 — 표본·MDE 계산기

이게 글에 박는 유일한 코드입니다.