11월 18일 DataDay에서 발표한 CausalImpact 패키지와 Multivariate Test를 결합한 Offering 효과 분석

1. Offering 효과 분석
- 과연 ‘이게’ ‘제대로’ 먹혔을까?
2014-11-18 DataDay@D.Camp(3rd)
권정민 (Data Analyst @ SK Planet)

2. Offering:
Classical Strategy of CRM
- (WHO) (WHEN) (WHERE)
타겟 고객들에게 적절할 때 우리 서비스/매장에서
적절한 benefit을 가능한 방법으로 제공한다.
(WHAT) (HOW)
- LTV 증가/신규 고객 유입/이탈 고객 방지/서비스 인지도 상승...
(WHY)

4. 기본 고객 관리
고객의 전반적인 Lifetime에 영향을 미치는 속
성 구분
관련 데이터 수집
지속적인 모니터링 및 현 상황에 대한 고객 관리
목표 설정

5. Targeting
목적 종류 (신제품 추천, 신규 고객 유도, 이탈 예
상 고객 군 관리 등)에 해당하는 고객 군 생성, 분
류
기본 속성(인구통계학 정보) 및 과거의 로그 데이
터를 통한 고객군 생성
Basic Selection (rule-based),
Classification, Clustering...

6. Campaign
각각의 고객군에게 적합한 혜택을 제공함으로
써 해당 목적에 도달할 수 있도록 함
프로모션, 이벤트 등을 통한 특별한 혜택 제
공
제공할 Campaign의 효과 및 고객 군과의 적합
도 등의 파악 + 예측 필요

7. 이게 과연 효과가 있을까?

8. 결과를 어떻게 비교해야 할까?

9. Multivariate Testing
초반 피크가 이후에까지 영향을 준다고 볼 수 없으
나 장기적인 관측 필요
Campaign 속성이 매번 변하므로 지속적 활용 어
려움

10. 캠페인과 서비스 변경 - 지속성
- 일회성으로 끝나는 건 아닐까?
- 이번 캠페인 효과를 보기 위해 오랫동안 기다릴 수는 없는데?
- 이 사람들에게는 캠페인을 안 했어도 상관없는 것 아닐까?
- 사정상 대조군을 만들 수 없는데?
- 한꺼번에 여러 종류의 캠페인을 해야 하는데?

12. CausalImpact
Google의 [Inferring causal impact using Bayesian
structural time-series models]라는 논문 기반
기본적인 시계열 forecasting 방식이나 Bayesian 기반
으로 인과관계 및 영향력 등을 수치적으로 파악 가능
R의 CausalImpact 패키지로도 구현되어 있음
https://github.com/google/CausalImpact

13. To Be Continued..

14. Summary
New Tool for Offering Evaluation :
Multivariate Test +
Time-Series Causal Analysis
(CausalImpact)
※ 상세한 질문, 의견, 제안 등은 cojette@gmail.com 으로 부탁드립니다. 감사합니다.