BLUEBERRY

챗봇·에이전트가 운영에 들어가면 한 번 평가가 아니라 분기 자동 평가가 필요합니다. 골든셋·regression·hyperparameter A/B를 묶는 evaluation harness 설계와 마케팅 자리에서의 적용.RAG 챗봇·LLM 에이전트가 운영에 들어가면 한 번 평가하고 끝이 아닙니다. 모델 버전이 바뀌고, 프롬프트가 다듬어지고, 새 컨텍스트가 추가될 때마다 품질이 흔들립니다. evaluation harness는 분기마다 자동으로 모든 변화를 점검하는 공장이고, 사내 챗봇 품질의 운영 안정성을 결정합니다.마케터가 이 글을 읽어야 하는 이유: 사내 RAG 챗봇·자동화 에이전트가 점점 늘어나는데, 그 품질이 분기마다 어떻게 변하는지 추적이 안 되면 사고가 사용자 보고로만 발견됩니다. evaluatio..

평균 LTV 한 숫자로는 채널·시즌·세그먼트 차이가 안 보입니다. 코호트별 누적 매출 곡선을 그려 그 차이를 시각적으로 잡고, 곡선 모양으로 운영 결정을 내리는 표준 워크플로."이 채널 LTV 180입니다."한숫자가회의에던져집니다.그런데그LTV가평균이라면,어느코호트는400이고 어느 코호트는 $80일 수 있습니다. 코호트 LTV 곡선은 그 차이를 한 그래프로 보여주고, 곡선 모양 자체가 운영 결정의 근거가 됩니다.마케터가 이 글을 읽어야 하는 이유: 분기 회의에서 LTV 평균만 들고 가면 의사결정자가 "그래서 어느 자리에서 그 평균이 나왔어?"를 묻습니다. 코호트 곡선이 그 자리를 시각적으로 답합니다. 곡선이 빠르게 평탄화되면 churn 문제, 천천히 우상향이면 재구매 강함, 한 번 떨어지고 회복 안 되면..

같은 트래픽에서 매출만 1.5배 만드는 게 CRO입니다. 랜딩 페이지의 6원칙(clarity·urgency·friction·social proof·value prop·trust)부터 실험 운영·도구·KPI까지 한 글로.광고비를 늘리지 않고 매출을 1.5배 만드는 가장 빠른 길은 CRO(Conversion Rate Optimization)예요. 들어오는 트래픽은 그대로, 그 트래픽이 더 자주 사는 사이트로 바꾸는 일. 그런데 CRO를 처음 시작하면 "버튼 색을 빨강으로 vs 초록으로" 같은 표면적인 실험에 빠지기 쉽습니다. 진짜 CRO는 사이트의 6가지 원칙을 점검하는 일이에요. 이 글은 랜딩 페이지 CRO의 6원칙과 실험 운영 표준을 한 글로 정리합니다.CRO가 왜 광고보다 효율 높은가같은 자리에서 매출..

스타트업이 처음 데이터 사람을 뽑을 때 가장 자주 깨지는 자리는 역할 정의·면접 기준·온보딩 90일. ICP·면접 셋·90일 마일스톤·흔한 실수를 한 글로 정리합니다.스타트업이 처음 데이터 사람을 뽑을 때 가장 자주 깨지는 자리는 "어떤 사람을 뽑아야 하는지"부터 모호한 채로 채용 공고를 올리는 거예요. data scientist vs analytics engineer vs analyst의 차이도 모호하고, 면접에서 무엇을 보고 합격 시킬지도 흩어지고, 채용 후 첫 90일에 무엇을 시킬지 정리가 안 됩니다. 이 글은 스타트업의 1번 데이터 채용을 디자인하는 가이드. ICP·면접 셋·90일 마일스톤·자주 실패하는 패턴까지.왜 1번 데이터 채용이 어려운가스타트업이 데이터팀을 처음 만들 때 어려운 이유 5가지..

광고 데이터를 SQL로 집계할 때 반복적으로 깨지는 7가지 패턴 — 중복 조인·attribution window 누락·시간대 미스·conversion lag·환율·채널 매핑·dedup. 마케터·BI팀이 실무에서 만나는 함정을 실제 SQL 반례와 함께 정리합니다."Meta는 ROAS 5.2라는데, GA4는 3.8이고, BI팀이 BigQuery로 다시 뽑은 건 9.6이에요." 어느 회의에서나 흔한 풍경입니다. 셋 다 다른 데이터를 봤다면 차이가 나는 게 당연한데, 진짜 무서운 건 같은 raw event를 두 사람이 SQL로 집계했는데 ROAS가 30% 차이 나는 경우입니다. 거의 모든 경우 원인은 데이터가 아니라 SQL 한 줄이에요. 이 글은 광고 데이터를 SQL로 집계할 때 마케터·BI팀이 반복적으로 빠지..

Meta·Google·TikTok·Naver 각 매체가 주는 raw export 컬럼을 한 표로 매핑합니다. spend·impression·click·conversion·video view·viewability까지, 같은 의미가 매체마다 어떻게 다른 이름으로 들어오는지 정리합니다.Meta API의 actions, Google Ads의 conversions, TikTok의 result, Naver SA의 conversion_count. 셋 다 다른 이름이지만 비슷한 의미예요. 그런데 미묘하게 다릅니다. 마케터·BI팀이 매체 raw data를 다룰 때 가장 자주 깨지는 자리는 이 "비슷하지만 다른" 컬럼들을 잘못 매핑하는 자리예요. 이 글은 네 매체의 raw export 컬럼을 한 표로 매핑하고, 각 컬럼이..

GA4의 organic search, MMP의 Organic, Amplitude의 Direct, GA4의 (direct)/(none). 같은 단어가 도구마다 다른 의미예요. 4가지 정의를 한 글로 정리하고 dark traffic·attribution 누락을 어떻게 분리하는지를 풉니다."지난주 organic 트래픽이 갑자기 30% 늘었어요. SEO 효과인가요?" 이 질문 하나에 답하려고 BI팀과 마케팅팀이 한 시간씩 회의를 합니다. 그런데 자세히 보면 GA4 organic, MMP Organic, Amplitude Direct, 자사 BI의 unknown이 다 다른 걸 뜻하고 있어요. 같은 organic이라는 단어가 도구마다 의미가 다릅니다. 이 글은 organic·direct·referral의 4가지 정..

Appsflyer·Adjust·Branch raw export에는 어떤 컬럼이 있고 각 컬럼이 진짜로 무엇을 뜻하는지. media_source·campaign·af_status·reattribution·SKAdNetwork postback 컬럼까지 마케터·데이터팀이 매일 만나는 raw export를 한 글로 정리합니다.앱 광고 운영자라면 MMP raw export는 매일 만나는 데이터입니다. 그런데 정작 컬럼이 100개가 넘어가는 그 CSV에서 무엇이 진짜 신뢰할 컬럼이고, 무엇이 보조 정보이고, 무엇이 NULL이 많은지를 한 곳에서 정리한 글은 의외로 드물어요. 이 글은 Appsflyer·Adjust·Branch 세 MMP의 raw export 컬럼을 한 표로 정리하고, 각 컬럼이 마케터의 의사결정에서..

마케팅·adtech·AI·privacy 트렌드를 매주 따라잡는 표준 모니터링 소스 30곳. 글로벌·국내·매체 changelog·연구·뉴스레터·서브스택을 카테고리별로 묶고 활용법을 정리합니다.마케터·운영자가 트렌드를 따라잡지 못하는 가장 큰 이유는 시간이 아니라 소스가 정리 안 됐기 때문이에요. 어디를 봐야 할지 모르면 매주 30분도 길게 느껴집니다. 반대로 잘 정리된 30곳을 매주 30분 훑어두면 사내 누구보다 빨리 매체 정책·AI 도구·privacy 변화를 알 수 있어요. 이 글은 글로벌·국내 마케팅·adtech·AI 트렌드를 따라잡는 표준 모니터링 소스 30곳을 카테고리별로 정리합니다. RSS·이메일·X 알림 셋업 가이드까지 함께.왜 트렌드 모니터링이 마케팅의 한 축인가광고·attribution·AI..