BLUEBERRY

A/B 시작 전 "표본 얼마나 모아야?"의 답이 power analysis. 검출력 80%로 검출 가능한 최소 효과(MDE)를 미리 계산해 실험 기간·해석 한도를 명확히 잡는 흐름.A/B 실험을 시작하기 전 "표본 얼마나 모으면 돼?"라는 질문에 답하지 못하면, 결과 단계에서 "p-value 0.07이라 결론 못 냄"이 흔히 나옵니다. Power analysis는 그 질문에 답하는 표준 도구이고, MDE(Minimum Detectable Effect) 개념이 결정의 핵심입니다. 실험 시작 전 한 번의 계산이 실험 운영의 절반을 정직하게 만듭니다.마케터가 이 글을 읽어야 하는 이유: 실험 결과 회의에서 "결론 보류"가 자주 나오는 자리는 사실 실험 시작 전의 power analysis 부족이 원인입니다. ..

베이지안 A/B는 "p-value "B안이 A보다 좋을 확률 92%"라는 한 줄이 회의를 한 번에 정리합니다. 베이지안 A/B의 매력입니다. 그런데 그 92%라는 숫자가 정직하려면 prior를 어떻게 잡았는지, HDI를 어떻게 해석했는지가 함께 따라와야 합니다. 이 글은 마케터 시선에서 베이지안 A/B의 prior 설계, posterior 해석, HDI의 함정을 정리합니다.마케터가 이 글을 읽어야 하는 이유: 빈도주의 A/B의 "p-value prior가 출발점, 데이터가 갱신, posterior가 결론. HDI는 그 결론을 한 줄로 요약하는 구간.1. 빈도주의 A/B와 베이지안 A/B의 한 줄 차이항목빈도주의베이지안답하는 질문"이 차이가 우연일 확률은?""B가 A보다 좋을 확률은?"출력p-value, ..