BLUEBERRY

A/B 시작 전 "표본 얼마나 모아야?"의 답이 power analysis. 검출력 80%로 검출 가능한 최소 효과(MDE)를 미리 계산해 실험 기간·해석 한도를 명확히 잡는 흐름.A/B 실험을 시작하기 전 "표본 얼마나 모으면 돼?"라는 질문에 답하지 못하면, 결과 단계에서 "p-value 0.07이라 결론 못 냄"이 흔히 나옵니다. Power analysis는 그 질문에 답하는 표준 도구이고, MDE(Minimum Detectable Effect) 개념이 결정의 핵심입니다. 실험 시작 전 한 번의 계산이 실험 운영의 절반을 정직하게 만듭니다.마케터가 이 글을 읽어야 하는 이유: 실험 결과 회의에서 "결론 보류"가 자주 나오는 자리는 사실 실험 시작 전의 power analysis 부족이 원인입니다. ..

베이지안 A/B는 "p-value "B안이 A보다 좋을 확률 92%"라는 한 줄이 회의를 한 번에 정리합니다. 베이지안 A/B의 매력입니다. 그런데 그 92%라는 숫자가 정직하려면 prior를 어떻게 잡았는지, HDI를 어떻게 해석했는지가 함께 따라와야 합니다. 이 글은 마케터 시선에서 베이지안 A/B의 prior 설계, posterior 해석, HDI의 함정을 정리합니다.마케터가 이 글을 읽어야 하는 이유: 빈도주의 A/B의 "p-value prior가 출발점, 데이터가 갱신, posterior가 결론. HDI는 그 결론을 한 줄로 요약하는 구간.1. 빈도주의 A/B와 베이지안 A/B의 한 줄 차이항목빈도주의베이지안답하는 질문"이 차이가 우연일 확률은?""B가 A보다 좋을 확률은?"출력p-value, ..

광고 플랫폼 자체 A/B로는 부족하고 외부 SaaS는 비쌉니다. 사내 마케팅 실험 플랫폼을 설계할 때 깔아야 할 split assignment·exposure log·SRM 검정·sequential safe·메타 표준 5가지 원칙.Meta·Google의 자체 A/B 도구는 광고 자체 효과만 보고, Optimizely·VWO는 비싸고 마케팅 데이터와 안 맞습니다. 사내 마케팅 실험 플랫폼을 직접 만들 때 깔아야 할 5가지 원칙이 있습니다. 한 가지라도 빠지면 결과가 흔들리고, 다섯 가지가 함께 깔리면 분기 실험이 정직한 의사결정의 기반이 됩니다.마케터가 이 글을 읽어야 하는 이유: 사내 실험 플랫폼은 분석가·엔지니어가 만들지만, 마케터가 그 5가지 원칙을 모르면 결과 보고를 제대로 해석 못 합니다. 어떤 ..