BLUEBERRY

벡터 검색이 가져온 Top 50을 LLM에 그대로 넘기면 정밀도가 깨집니다. cross-encoder 재순위가 그 50개를 다시 정렬해 Top 5만 LLM에 넘기면 답변 품질이 한 단계 올라갑니다.RAG 챗봇 답변이 자주 빗나간다면, 모델·프롬프트보다 검색 단계가 약할 가능성이 큽니다. 벡터 검색은 빠르지만 의미 매칭의 정밀도가 부족합니다. cross-encoder 재순위(re-ranking)는 1단계 검색의 Top 50을 다시 정렬해 정말 관련 있는 Top 5를 LLM에 넘깁니다. 한 단계 추가로 답변 품질이 눈에 띄게 올라갑니다.마케터가 이 글을 읽어야 하는 이유: RAG 챗봇이 운영에 들어가 있다면, 답변 품질의 절반이 검색 단계에서 결정됩니다. 모델 교체보다 비용 효율적인 개선이 재순위 단계 추가..

Prophet은 시즌·트렌드를 자동 분리해 예측을 단순화하고, CausalImpact는 그 예측을 baseline으로 캠페인 효과를 추정합니다. 마케팅 자리의 두 도구 결합 사용 패턴.캠페인 시작 후 매출이 +20% 올랐다면 그게 캠페인 효과인지 시즌·트렌드 효과인지 구분이 어렵습니다. CausalImpact는 캠페인이 없었을 때의 매출 예측(counterfactual)을 baseline으로 잡고, 실제 매출과의 차이를 캠페인 효과로 추정합니다. baseline 예측에 Prophet 같은 state-space 모델이 자주 들어갑니다. 두 도구의 결합이 마케팅 인과 분석의 표준 패턴 중 하나입니다.마케터가 이 글을 읽어야 하는 이유: 분기 캠페인의 효과를 보고할 때 "전년 동기 대비 +20%"는 시즌·트렌..

광고를 본 사람과 안 본 사람을 그냥 비교하면 자가 선택 편향이 큽니다. PSM은 두 그룹을 비슷한 특성으로 매칭해 비교가 가능한 짝을 만듭니다. 마케팅 자리에 적용하는 PSM 워크플로."광고 본 사람들의 구매율 8%, 안 본 사람들 구매율 3% — 광고가 5%p 끌어올렸다." 이 단순 비교의 함정은 분명합니다. 광고를 본 사람들이 원래 더 관심 있었던 사람일 가능성이 큽니다(자가 선택 편향). 무작위 배정 lift 실험을 못 돌리는 자리에서 자주 마주칩니다. propensity score matching(PSM)은 이 편향을 줄여 인과 효과를 추정하는 표준 도구입니다.마케터가 이 글을 읽어야 하는 이유: 광고 노출과 전환의 단순 비교는 ROAS 보고에 자주 들어가지만 인과 효과는 거의 항상 과대 추정됩..

시스템 프롬프트·페르소나·문서가 호출마다 동일하다면 그 부분을 캐시할 수 있습니다. Anthropic·OpenAI의 prompt caching 작동 원리와 마케팅 자동화의 비용을 90% 깎는 운영 패턴.광고 카피 양산을 LLM에 자동화한 뒤 첫 달 청구서를 받으면 자주 놀랍니다. 같은 페르소나·같은 브랜드 가이드를 매번 보내는데 그 부분이 매번 입력 토큰으로 잡혀 비용을 만듭니다. prompt caching은 이 반복되는 부분을 캐시 영역으로 표시해, 두 번째 호출부터는 그 부분을 캐시 토큰(가격 1/10)으로 처리합니다. 마케팅 자동화의 운영 비용을 90% 가까이 깎을 수 있는 단순하고 강력한 도구입니다.마케터가 이 글을 읽어야 하는 이유: LLM을 자동화에 끼워 넣을수록 비용은 호출 수 × 입력 토큰..

A/B 시작 전 "표본 얼마나 모아야?"의 답이 power analysis. 검출력 80%로 검출 가능한 최소 효과(MDE)를 미리 계산해 실험 기간·해석 한도를 명확히 잡는 흐름.A/B 실험을 시작하기 전 "표본 얼마나 모으면 돼?"라는 질문에 답하지 못하면, 결과 단계에서 "p-value 0.07이라 결론 못 냄"이 흔히 나옵니다. Power analysis는 그 질문에 답하는 표준 도구이고, MDE(Minimum Detectable Effect) 개념이 결정의 핵심입니다. 실험 시작 전 한 번의 계산이 실험 운영의 절반을 정직하게 만듭니다.마케터가 이 글을 읽어야 하는 이유: 실험 결과 회의에서 "결론 보류"가 자주 나오는 자리는 사실 실험 시작 전의 power analysis 부족이 원인입니다. ..

한 LLM이 모든 일을 다 하면 결과가 흔들립니다. 여러 에이전트가 역할을 나눠 협업하는 multi-agent orchestration의 3가지 표준 패턴과 마케팅 자동화에 적용하는 자리."이 캠페인 분석해서 슬랙으로 공유해줘"라고 한 LLM에 시키면 데이터 조회·분석·작성·전송을 모두 하나의 모델이 합니다. 그런데 작업이 길어질수록 모델이 헷갈리고, 한 단계 실패가 전체를 멈춥니다. multi-agent orchestration은 여러 에이전트가 역할을 나눠 협업하는 구조입니다. 3가지 표준 패턴과 마케팅 자동화에 적용하는 자리를 정리합니다.마케터가 이 글을 읽어야 하는 이유: LLM 자동화가 한 단계 작업(요약·분류)을 넘어 여러 단계 작업(분석 + 보고 + 전송)으로 가면 단일 모델로는 안정적이지 ..

마케팅 측정의 성숙도는 5단계로 나뉩니다. last-click → multi-touch → MMM → lift study → triangulation. 우리 팀이 어디 있는지 진단하고 다음 단계 로드맵을 잡는 한 가지 모델."우리는 어떤 측정을 쓰고 있는가?" 라는 질문에 답하는 5단계 모델이 있습니다. 1단계 last-click부터 5단계 triangulation까지. 우리 팀이 어디 있는지 진단하면 다음 분기 로드맵이 자연스럽게 나옵니다. 단계를 건너뛸 수 없고, 한 단계 위로 올라가는 데 보통 1-2분기가 걸립니다.마케터가 이 글을 읽어야 하는 이유: 측정 도구를 한 번 도입하기는 쉬워도 운영 표준으로 정착시키는 게 어렵습니다. 5단계 모델로 우리 팀의 현재 위치를 객관화하면 다음 단계 투자 우선순..

Lookalike audience(LAL)는 고가치 시드 사용자와 비슷한 잠재 고객을 광고 플랫폼이 찾아주는 기능입니다. 시드 한 줄로 효율이 두 배 차이 나는 LAL 운영의 표준 룰."고가치 고객 1만 명 명단을 Meta에 업로드하면 비슷한 사람을 1000만 명까지 찾아준다." Lookalike audience(LAL)의 마케팅 마법입니다. 그런데 시드 명단 한 줄을 잘못 잡으면 같은 1000만 명이라도 효율이 두 배 차이 납니다. 시드 품질·확장 비율·평가 사이클의 표준 룰을 정리합니다.마케터가 이 글을 읽어야 하는 이유: LAL은 1st-party 데이터를 광고 플랫폼에 활용하는 표준 도구이고, ROAS 개선에 강력한 카드입니다. 하지만 시드 잘못 잡거나 확장 비율 잘못 정하면 효율이 무너집니다. ..

LLM 자동화의 비용은 호출 수 × 입력 토큰 × 단가로 빠르게 커집니다. 호출별 비용·일일 합계·모델별 단위 경제학을 분기 보고에 박는 한 가지 표 양식.LLM 자동화 한 자리에 비용이 매월 얼마나 드는지 즉답할 수 있나요? 첫 청구서를 받기 전까지는 의외로 어렵습니다. 호출 수 × 입력 토큰 × 단가가 각각 어떻게 움직이는지 모르고 자동화를 운영하면, 분기 마감일에 "이번 분기 LLM 비용이 예상보다 3배"라는 숫자만 받게 됩니다. 이 글은 그 숫자를 분기 보고로 끌고 가는 단위 경제학 한 묶음을 정리합니다.마케터가 이 글을 읽어야 하는 이유: LLM 자동화는 ROI가 큰 만큼 비용도 빠르게 커집니다. 호출당 비용·일일 합계·모델별 단가 차이를 미리 알면 분기 예산 결정이 정확해지고, 어느 자동화에 ..

A/B 평균 효과 +5%p가 모든 사람에게 같지 않습니다. 일부에게는 +20%p, 일부에게는 -3%p. CATE·uplift forest로 효과의 이질성을 추정해 타겟 마케팅을 정밀화하는 흐름.A/B 결과 "B안이 평균 +5%p 효과"라는 한 줄은 사실 평균값입니다. 어떤 사용자에게는 +20%p, 어떤 사용자에게는 -3%p일 수 있습니다. 평균만으로 결정하면 효과 큰 사용자에 못 집중하고, 효과 음수인 사용자도 똑같이 처리합니다. CATE(Conditional Average Treatment Effect)·uplift forest는 이 이질성을 추정해 정밀한 타겟팅을 가능하게 합니다.마케터가 이 글을 읽어야 하는 이유: 같은 캠페인을 모든 사용자에게 동일하게 노출하는 시대는 지나갑니다. 효과가 큰 세그먼..