2016년 4월에 있었던 How We Use Data 행사에서 발표한 자료입니다. 동영상 자료는 아래 YouTube에서 보실 수 있습니다. 발표 영상 보려가기: https://www.youtube.com/watch?v=bci9oWGx17o

1. 온라인 서비스 개선을
위한 데이터 수집하기
김진영

2. 온라인 서비스 개발의 단계별 이슈
• 계획
• 비즈니스 목표를 어떻게 설정할 것인가?
• 목표 달성을 위한 최적의 방법은 무엇인가?
• 구현
• 검색 및 추천 기능은 어떻게 구현할 수 있을까?
• 구현된 기능에 눈에 띄는 결함은 없는가?
• 평가
• 새로운 기능에 사용자가 만족하는가?
• 비즈니스 목표가 얼마나 달성되었는가?
계획
구현평가

3. 이를 해결하기 위해서는 데이터가 필요
• 현재 서비스의 (불)만족도에 대한 데이터
• 학습 모델을 만들고 평가하기 위한 데이터
• 서비스의 장애나 결함을 발견하기 위한 데이터
• 새로운 기능의 효과를 측정하기 위한 데이터
핵심: 우리 서비스에 대한 고객의 반응은?

4. 이런 데이터를 어떻게 수집할 수 있을까?

5. 참고: 식당 서비스 개선을 위한 데이터 수집
• 고객 행동 관찰
• 고객의 표정과 시선
• 잔반의 양과 종류
• 식사의 속도
얻을 수 있는 데이터의 종류가
제한적이며 노이즈가 많다.
고객의 행동을 기반으로
만족도를 유추해야 한다.

6. 참고: 식당 서비스 개선을 위한 데이터 수집
• 패널 서베이
• 음식에 대한 만족도
• 청결에 대한 만족도
• 시설에 대한 만족도
이런 서베이를 통해 상세한
데이터를 얻을 수 있지만
고객에게서 직접 얻는
결과와는 다를 수 있다!

7. 온라인 서비스 관련 데이터 수집의 방법
• 사용자 로그
• 사용자 로그에서 다양한 ‘시그널‘ 추출
• 데이터 수집의 범위 및 품질에 제약 (사용자 행동)
• 별도의 비용은 없지만 사용자층이 두터워야
• 패널 서베이
• 서베이 회사를 이용하거나, 패널을 직접 고용
• 서비스 품질의 모든 측면에 대한 자세한 피드백
• 패널 규모에 따른 비용이 발생

8. 온라인 서비스 관련 데이터 수집의 방법 (2)
• 사용자 피드백
• 사용자에게 실시간으로 피드백을 요청
• 보통 응답률이 낮고, 자칫 사용자를 귀챃게 할수도
• 개인화가 중요한 추천 서비스 등에서는 널리 사용 (예: 영화 별점)
패널 서베이 사용자 로그
사용자 피드백

9. 주요 온라인 서비스 기업에서는 어떻게
데이터를 수집하는가?

10. 검색 서비스 사례: 구글/빙
• 개발 초기: 패널을 통해 수집한 레이블
• 개발 후기: 사용자 로그에 기반한 실험
• 출처: 구글

11. 소셜 네트워크 사례: 페이스북
• 서비스 초기: 사용자 로그만 사용
• 최근: 로그 + 패널 + 피드백
• 출처: Slate / Quora
페이스북 피드 랭킹에 사용자 로그와 함께
패널 서베이와 사용자 피드백을 추가로
사용함으로써 클릭만을 유도하는 컨텐츠
대신 사용자가 만족하는 컨텐츠를 더 많이
노출시킬 수 있었다.
- Julie Zhuo, Product Design VP at Facebook

12. 추천 서비스 사례: 넷플릭스
• 검색 서비스: 패널 + 사용자 로그
• 추천 서비스: 사용자 피드백 + 로그
• 출처: 넷플릭스

13. 추천 서비스의 결과물을 평가할 수 있을까?
추천
알고리즘
A
추천
알고리즘
B

14. 어떤 방법으로 데이터를 수집할 것인가?
• 사용자 행동을 통해 관찰가능한 정보는 무엇인가?
• 사용자가 피드백을 줄 인센티브가 있는가?
서비스의 특성
• 일정 규모의 액티브 유저가 이미 존재하는가?
• 패널이 사용자 경험을 대신 평가해줄 수 있는가?
수집의 가능성
• 충분한 사용자 확보를 위한 마케팅 예산이 있는가?
• 패널 서베이를 위한 충분한 예산이 있나?
수집의 비용

15. 검색 엔진의 품질을 어떻게 평가해야 할까?

16. 사용자 행동(로그)에
기반한 평가
• 어떤 결과에 클릭했는가?
• 클릭하지 않은 결과는 무조건 나쁜가?
• 클릭한 결과에 얼마나 머물렀는가?
• 오래 머문 결과는 무조건 좋은가?
• 사용자가 재방문하는가?
• 만족도와 재방문율의 상관관계는?
사용자 행동은 중요한 단서이지만 결과의 품질을 모두 말해주지는 않는다!

17. 같은 결과를 패널 서베이로 평가한다면?
질의어 ‘crowdsourcing’
에 대한 오른쪽 결과를
평가한다면?
형편없다
그저그렇다
괜챃다
훌륭하다
Q: 그 이유는?

18. 이 설문 디자인의 문제점은?
• 평가자가 질의어 자체를 이해하지 못할 수도 있다.
• 질의어가 나타내는 검색 사용자의 의도가 명확하지 않다.
• 평가자가 검색 결과의 일부만 마음에 들어할 수도 있다.
• 검색 결과의 품질을 평가하는 기준이 명확하지 않다.

19. 웹 검색 결과 평가를 위한 인터페이스 (2)
질의어 ‘crowdsourcing’
에 대한 오른쪽 결과를
평가한다면?
형편없다
그저그렇다
괜챃다
훌륭하다
Q: 그 이유는?

20. 웹 검색 결과 평가를 위한 인터페이스 (3)
Q: 오른쪽의 두 검색
결과를 비교한다면?
왼쪽이 훨씬 나음
왼쪽이 약간 나음
우열을 가리기 힘들다
오른쪽이 약간 나음
오른쪽이 훨씬 나음
Q: 그 이유는?

21. 고품질의 패널 서베이 결과를 얻으려면?
• 패널의 구성은 대상 고객군의 특성과 유사한가?
• 패널 구성원이 이해하여 답할 수 있는 질문인가?
• 답변의 정직성 및 품질을 어떻게 평가할 것인가?
• 패널 구성원에게 적절한 인센티브를 제공하는가?

22. 마치며

23. 요약하면…
• 데이터 사용을 이전에 제대로 된 데이터 수집 방법을 고민할것
• 패널 서베이와 사용자 로그, 피드백 등 서비스 특성 및 개발
단계에 따라 데이터 수집 방법을 적절히 조합하여 사용할것
• 제대로 된 패널 서베이를 위해서는 다양한 고려사항이 존재:
서베이 디자인 / 패널 선발 및 교육 / 결과 평가 및 보상

24. 더 상세한 이야기를 원하시면…
• 우리 식당 김사장이 데이터 과학자가 된 사연은?
• 넷플릭스가 추천 및 검색 알고리즘을 개선하는 방법
• 페이스북이 뉴스 피드 랭킹을 만들고 개선하는 방법
• SIGIR’2015 Tutorial on Offline Search Evaluation