1.
데이터는
차트가 아니라
돈이 되야 한다.
NUMBERWORKS
대표 하용호
yongho.ha@numberworks.io

2.
하용호
용 호

3.
over
103,000
view

4.
NUMBER
WORKS
데이터사이언스센터

5.
수십페타바이트를 원없이
만져본 행복한 시간이었지만
동료 데이터 과학자들이랑
같이 졸업을 하고
넘버웍스를 만들었습니다.

6.
넘버웍스
= 데이터사이언티스트
+ 데이터사이언티스트
+ 데이터사이언티스트
+ 데이터사이언티스트
그 귀하다는 경험많은 데이터 사이언티스트가

7.
오늘은 데이터 필드에서의
지난 경험들을 나누는 자리

8.
Data Science는 공학과 마케팅 사이
Engineering Marketing
DataScience
무게중심이 마케팅쪽으로 옮겨지고 있다.

9.
여러분은 점점 사장님과 가까워집니다.
DataScience
무서운 일이죠. =_=
CTO CEO

10.
사장님은 왜 무서운가?
사장님이 궁금한 것은 단 한가지
“그거 돈이 되냐?”

11.
돈으로 이야기 해줘야 한다.
• 고객이 얼마나 늘었고
• 한사람당 얼마를 더 썼고
• 그래서 우리는 얼마를 더 벌게 될 예정입니다.
그런데 우리는 이 질문 앞에 작아집니다.

12.
왜 작아지는 걸까?
‘액션’을 하지 않기 때문에
‘분석’은 많이 하는데 비해서

13.
‘액션’ 하지 않으면
아무일도 안생긴다

14.
애초에 Data Science
라는 말을 생각해보면
왜
Data
Science
이지?

15.
관측
가설실험
과학의 방법론에 따라 일하기 때문
(Action)
그 중 실험 부분이 바로 ‘Action’

16.
관측
가설실험
그런데 대부분의 회사들은
(Action)
실험(Action)을 잘 하지 않는다.

17.
마음속의 거리
멀다고 느껴지면 안가게 된다.
관측
가설
실험

18.
이것 때문에 발생하는
느린 이터레이션은
매우매우 큰일!!

19.
좋은 비유 대상이 있다.
테테테. 테니스!

20.
공을 친다. 되돌아온다.
학습!
데이터

21.
테니스 연습을 하는데
공이 돌아오는데
30분이라면?
실력이 늘지 않아!

22.
오늘의 주제는
저 두 산을 허무는 법
관측
가설
실험
빠르게 iteration하기위해

23.
관측
가설
실험
Data Engineering

24.
현업의 로그는
어떤 양상인가?

25.
현업의 로그는 어떤 양상?
없거나
쓸 수 없거나
(그런거 없ㅋ엉ㅋ)
(현재 상태 DB만 있는뎅)

26.
로그를 남기려면 고민이 필요
“뭘 남기지?”
“어떤 형식으로 남기지?”
“어떻게 전송하지?”
“어디에 저장하지?”
몰라@.@
정하기
어려워
안남기면
해결된다.
의식의 흐름
1) 왜 없나?

27.
로그를 기록하는 과정부터
중앙 repository에 붓는 작업을
한정식에서 라면화 시켜야 한다.
고민없이 가져다 쓸 수 있는
로그 레시피의 제작 및 보급
그래야
남는다

28.
• “우리도 데이터 있어요”
• 막상 가보면 DB에 현재의 state만 남아있음
• 예를 들어 같은 통장 잔고 100만원도
• 1000만원 벌고 900만원 탕진한 100만원인 사람과
• 110만원 벌고 10만원 아껴써서 100만원인 사람 다름
• 이력이 필요합니다. state가 아니라 history
2) 왜 쓸 수가 없나?

29.
자. 이제 로그가
분석가에게 쓰여지려면
어떤 가공을 해야 할까?

30.
분석가들은 어떤 사람인가?
통계 지식
R 같은 데이터 언어
비지니스 유관 지식
이들이 자료를 보기 위해
MR짜고 있으면 망함

31.
몇가지 이유에서 망함
• 분석가가 MR을 짜고 있으면 작업속도가 느려져,
하루에 몇 번 밖에 iteration을 돌 수 없다.
• 그렇게 짠 코드가 버그가 없을 쏘냐?
• MR을 작성할 줄 아는 분석가는 매우 소수다.
• 뽑기 어렵다. 사람이 있어야 일을 하지.

32.
바로 R, ipython 등에서 쓸 수 있게
데이터를 Ready 시켜야 한다.
이들이 편한 언어 SQL
결국 테이블화 되어야 함

33.
분석가
SQL
SQL
SQL

34.
추천하는 방법은
자료들을 모두
Hive테이블화 시켜버리세요

35.
왜 hive table와 시키나요?
• 생짜 로그 파일은 그 자체로 자기 기술적이지 못함
• 몇번째 필드는 이름은 뭐고, 어떤 속성인지 등 메타와 바인드 필요
• 이거 분석가가 자꾸 직접 해야 하면 화낸다.
• 꼭 hive를 query엔진으로 쓰지 않는다 하더라도
• Impala, Tajo, SparkSQL 다른 멋진 query엔진들
• 저들이 native로 읽어갈 수 있는 표준 자료 저장소로 좋은 포맷
• 보유 프로세스 비용이 없음. 안돌릴 땐 메타서버만 살아있음
• 평소에 CPU, RAM등을 차지하고 있지 않음

36.
Hive Table 만드시고
쓰는 것은
Impala, Tajo, SparkSQL
원하는대로 쓰세요
+ Hue (web ui)는 꼭 열어줄 것
-접하기 쉬워야 많이들 쓴다-

37.
파이프라이닝
workflow의 구축

38.
분석가들이 일을 잘할수록
엔지니어들은 힘들다. 왜?

39.
이 체인을
만드는데
공밀레
공밀레

40.
이 일은 참 고되다.
• 많은 MR, Spark, Hive job들이 얼기 설기 섞여 돌아간다.
• 각 작업은 다른 여러 작업들에 dependent할 때가 많다.
• 자료의 입수가 때로는 지연된다.
• 머신 Fail로 뭔가가 안만들어지는 경우도 많다.
• 안되요. 어 앞의 것이 안되었네. 어 그 앞의 것이. 또 앞의..

41.
요 테이블, 우량고객
계산할 때 기준값을
바꾸었어요 (방긋)
이 와중에

42.
새로 다 다시 돌려!
자주발생한다.
이것의 절차적, 심리적
부담감을 줄여야 작업이 쉬워진다.
(안그러면 분석가를 압박하게 됨.
좋게좋게 삽시다하고. ‘안되요’남발)

43.
우리의 선택

44.
루이지
from

45.
마리오 형제는 원래 배관공
이게 사실 파이프

46.
우리가 하는 일도 pipe의 연장과 연장
• 이거 되고 나서, 이거 되야 하고
• 저기서 물길이 들어오면
• 요 물길과 합쳐서 섞어 다음으로 보내고

47.
luigi : 각 자료마다
자신이 만들어지기 위한 의존성을
정의해 놓고 모아놓으면
뭐 어떻게든 다 잘될거야.
D
C C
A B
A
0 1 2

48.
D
C C
A B
A
0 1 2
D C
A
B
0
1
2
D를 주세요! 있으면 가져오고 없으면 자동으로 만든다.

49.
luigi를 도입하고
• 앞에 어떠한 데이터가 망가졌어도
• 최종적으로 가지고 싶은 데이터 테이블만 지정 실행하면
• 그것을 위한 모든 dependency가 계산되어
자동으로 만들어진다.
• reprocessing? = 코드 수정 + 과거 날리고 + luigi run

50.
루이지를 만나고
제 삶이 달라졌어요

51.
데이터 엔지니어링은
자료의 순환 속도를 고속화하고
처리의 심리적 부담을 줄이는
방향으로 진행되야 한다.

52.
관측
가설
실험
Data Analytics

53.
분석가들의 어려움
2) 분석했더니 현업이 이미 아는 것들이래요
1) 어떤 문제부터 분석해야할지 모르겠어요
정상입니다.

54.
1) 어떤 문제부터 분석해야할지
모르겠어요
분석만큼 중요한 것이 현업의 협조
그렇다면 어느 현업 부서와 일해야 하나?

55.
원피스의 명대사

56.
회사는 언제 데이터를 본다고 생각하나?
일이 안되어 갈 때

57.
현재 어려움이 있는 부서로 가세요
• 잘나가는 부서는 인사이트를 드려도 심드렁 합니다.
• 잘하고 있거든요!
• 힘들어하는 부서는 데이터 조직에게 아이디어를 줍니다
• 그리고 잘 도와줍니다. Action을 함께 할 수 있습니다.
• Small Win을 쌓으세요. 이걸로 큰 부서에 영업하세요

58.
2) 분석했더니 현업이
이미 아는 것들이래요
다시말하지만
정상입니다.

59.
분석의 목적은 기적의 창조가 아님
• 대부분의 경향성은 현업도 알고 있습니다.
• 분석의 힘은 정량화 - 양과 크기를 안다 - 에 있음
• 돌을 던지면 날아간다는 초딩도 알지만
• 힘, 각도, 날아간 거리를 재면 사람이 달도 간다.
• “양을 정확히 안다.” -> “예상과 액션을 가능케 한다”

60.
그리고 현업이
빠지기 쉬운 함정이 있다.
심슨 패러독스
(이 심슨 아님)
(Simpson’s paradox)

61.
B병원이 진료를 잘합니다?
환자수 생존자수 치료율
A병원 500 290 58%
B병원 500 320 64%
환자수 생존자수 치료율
A병원 400 200 50%
B병원 200 80 40%
간질환 위질환
환자수 생존자수 치료율
A병원 100 90 90%
B병원 300 240 80%
A병원이 진료를 잘합니다!

62.
나누어 뜯어 보면
전체를 볼 때 몰랐던
숨은 진실을 발견할 수 있다!

63.
Robert Capa.

64.
"만약 당신의 사진이 만족스럽지 않다면
그것은 충분히 가까이 가지 않았기 때문이다."
"만약 당신의 분석이 만족스럽지 않다면
그것은 충분히 나누지 않았기 때문이다."

65.
기존의 상식이라
받아들여지는 것도
나누어 보고,
A/B test 실험으로
재검증 해보는 것이
필요하다. 거기서 기회!

66.
역시 예제로
살펴봐야 재밌다.

67.
이메일은 정말 구린가?
심슨패러독스 케이스

68.
언제나 중요한 것은 채널!
고객이 우리를 떠나 있을 때
그들에게 접촉할 수 있는 채널!
이메일, SMS, PUSH

69.
“에이 요새 누가 이메일 읽어요.
보내도 오픈 안해요”
0.0%
6.3%
12.5%
18.8%
25.0%
5.2%
전체유저
0.0%
6.3%
12.5%
18.8%
25.0%
15.4%
지난달 1번이라도 방문한 유저
한 쇼핑몰의 케이스
나누어보자
심슨패러독스!

70.
전체를 보면 죽은 채널 같아 보여도
최근 사용 유저들에겐 매우 유효한 채널
그래서 넘버웍스는 뭘했나?
고객마다 개인화하여 다른 메일내용으로
기계가 자동 뉴스 레터를 보내게 했다.
(사람이 언제 다 만드나)
오픈 후 클릭율은 21%증가 클릭후 장바구니율 25%증가
베스트 상품 vs 개인화 메일

71.
배너는 정말 좋은건가?
A/B test로 상식을 확인해보는 케이스

72.
우린 다들 믿고 있죠
“크고 아름다운 배너님은
고객의 마음을
둑흔둑흔하게 해줄거야”
“정말일까?”
실험해 보았다. A/B test

73.
원안 대안1 대안2VS VS
9000명의 모든손님
900명의 손님(10%의 샘플링)
300명 300명 300명
A/B test

74.
크고 아름다운 배너 간소한 배너 배너 없음
121%
100%
125%

75.
상식을 믿지말고 실험으로 검증하라
• 당연히? 당연한거 없음
• 크고 아름다운 배너 < 배너 없음 < 얇은 배너
• ‘배너 없음’에게도 지다니!?
• 진리는 그곳에 따라 다름.
• 이곳은 단골 비중이 높은 회사.
• 단골은 다음방문부터 배너 때문에 폰 스크롤이 지겹다.
• 상품에 쓸 지면을 낭비하고 있었던 것

76.
항상 A/B test로 증명해야 한다.
• A/B test로 증명하지 않으면
• 상식에 반하는 결과를 만날때나
• 논공행상에 문제가 생긴다.
• 특히 외부가 크게 변하는 시기에는 더욱 두드러진다.
• (이건 너희가 잘해서가 아니라, 원래 그런 흐름이야?)
• 무조건 A/B test는 쓰라. 안 쓸 생각을 마라.

77.
좀 더 진보된 A/B test
Multi-Armed Bandit

78.
사장님은 역시 다르다.
“사장님 A/B테스트를 통해
양쪽에 50명씩 보내서
좋은 쪽을 알아보겠습니다!”
“그러면 50명은
안좋은 쪽에 보내는 건가요?”
(과연 사장님..)

79.
충분한 사람이
테스트될 때까지 오래 걸린다.
테스트되는 동안
나쁜 안에
사람이 많이가면 아깝다.
A/B 테스트의 단점

80.
이를 보완하기 위해
MAB
(Multi-Armed Bandit)
알고리즘이 등장!

81.
MAB 쉬운 설명
다음중 숫자가 크게 나오는
주사위를 찾아라!

82.
방법1) 1번 주사위 100번, 2번 주사위 100번,
3번 주사위 100번...
방법2) 주사위를 돌아가며 한번씩 던져본다.
뭔가 조짐이 좋은 녀석을 더 자주 던져본다.

83.
더 빨리 찾는다.
찾는 과정중에 이득도 극대화 한다.
MAB

84.
정리

85.
Data Engineering
로그 레시피를 보급해서 데이터를 쉽게 남기도록
테이블 + SQL을 제공해서 분석가들이 편해지게
워크플로우로 도입으로, 변화에 부담없어져라

86.
Data Analytics
지금 힘든 현업을 찾아서 도와줄 것
늘 나누어보며 심슨패러독스를 경계할 것
A/B test를 통해 모두 다 검증할 것
MAB를 써서 회사의 효용도 극대화 할것

87.
관측
가설
실험

88.
관측
가설실험
산이 없는 부담없는 세상
빠른 이터레이션!

89.
실험은 분석의 끝이 아니라 시작
실험이 부담없어지면
실험을 가볍게 진행하고
이를 통해 발견한 결과가
생각의 확장을 불러일으키는 경지
모든 고민을 끝내고 확인하기 위해
실험하는게 아니라
할 수 없던 생각을 할 수 있게 된다.

90.
내가 태어나서
한번도 치킨을 먹어보지 않았다면
내가 치킨을 원한다는 사실을 모른다.
회사도 고객도 일단 치킨을 먹어보자
진지합니다. 궁서체

91.
실험하자!!

92.
사실 데이터를 돈을 만드는 일의
끝판 대장은
자동화
신경쓰지않아도계속벌어다준다.

93.
데이터
인사이트
액션
자동화
넘을 수 없는
사차원의 벽
넘을 수 없는
사차원의 벽

94.
넘버웍스는
데이터 분석과 머신러닝 베이스로
액션과 자동화를 전문으로 하는
Data Science firm입니다
라끄베르, 아니
넘버웍스랑 상의하세요
(발표에서 말못한 깜짝놀랄 케이스들이 많아요)

95.
감사합니다.
http://
numberworks.io
yongho.ha@numberworks.io