データサイエンティストの憂鬱と、そこから思いついて実行したデータマートプロジェクトの話。詳細は↓ http://shoe116.hatenablog.com/entry/2016/04/04/084113

1. 分析用汎用データマートの作成と
データサイエンティストの憂鬱
Tokyo Webmining No.51 @shoe116
0

2. 今日の内容
1. データ分析の価値は何で決まるか
2. データサイエンティストの憂鬱
3. どんなデータマートが“汎用”的？
4. 汎用データマート作成プロジェクトについて
1

3. about @shoe116
•広告系エンジニア→データ分析→分析基盤
•Python > Java > JavaScript >> C++ > English
•No Music, No Life.
• ストーンズ, パーフリ, TMGE, 斎藤和義, 大森靖子
•No Music, No Idol.
• でんぱ組.inc, BiSH, Negicco
•見てね-> http://shoe116.tumblr.com/
2

4. #私を構成する9枚
3

5. 座右の銘
• 本質的な複雑さは単純に。
• 付随的な複雑さは取り除く
• Don’t Repeat Your Self
4

6. 0. はじめに
5

7. データの利活用の流れ
1. logを取る
2. logをまとめて整理してdataとして保存する
3. dataから、目的を持った”datamart”を作る
4. 作ったdatamartを分析したり学習したりする
6

8. logとdataとdatamart
7
log data datamart

9. みんなが知っている事実
• logはそのままではゴミと変わらない
• dataの目的は保存であり、分析しにくい
• 個々の分析は「datamart」の設計から始まる
8

10. みんなが忘れがちなこと
• 家計簿(datamart)から改善を提案することは
誰でもできる
• レシートから家計簿を作成するのは死ぬほど
面倒
9

11. 1. データ分析の価値
10

12. データ分析の価値は何で決まる？
11

13. データ分析の価値は何で決まる？
• 分析結果を利用した判断/行動が創出する価
値がその分析の価値
• アクションにつながらない分析 = 価値がない
• PDCAサイクルで、分析が役立つのはPとC。
価値を決めるのはDとA。
12

14. 2. データサイエンティストの憂鬱
13

15. 開発と比較して辛い点
• 「顧客が本当に必要だったもの」が難しい
• 技術的資産がたまりにくい
• 「価値の進捗」が顧客から見えにくい
14

16. 顧客が本当に必要だったもの
15

17. 技術的資産がたまりにくい
• 開発でいう「プロトタイピング」的である
（速度 >> 完成度・汎用性）
• 「リリース」「保守」という概念がなく、リファクタ
リングのタイミングも少ない
• そもそも「技術的資産」という感覚を持ちにくい
(次いつ使うかわからない、きっと使わない)
16

18. 「価値の進捗」が見えにくい
• 顧客に価値が見えないデータ加工が延々続く
• 試行錯誤を繰り返す作業
17
時間
顧客から見える価値
要件定義
データ準備とデータ加工 分析

19. 3. 汎用的なデータマート？
18

20. 少しでも憂鬱を解消するために
• 「とりあえず価値を出す」を早くしたい
• アウトプットのより近くで試行錯誤したい
19
データ アウトプット 顧客のニーズ

21. 少しでも憂鬱を解消するために
• 「とりあえず価値を出す」を早くしたい
• アウトプットのより近くで試行錯誤したい
20
データ アウトプット 顧客のニーズ汎用データマート

22. 何が「汎用」なのか
• 汎用的な処理を事前にやることに注力
• 全員が、そのデータマートから分析を始める
• 「使い方」や「目的」は汎用にはできない
• 目的を問わず使いやすい中間データを作る
21

23. 処理の汎用化:集計
様々な集計を事前にやっておく
22
cookie timestamp word1 word2
cookie hourly
cookie daily
cookie weekly
word1 word2
word1 word2
word1 word2
count
count
count

24. 処理の汎用化:ETL
「だいたいやることになる処理」はやっておく
23
cookie timestamp
cookie daily
cookie weekly
cookie monthly
word
word
word
word
count
count
count
cookie hourly
cookie daily
cookie weekly
word1 word2
word1 word2
word1 word2
count
count
count
cookie timestamp word1 word2
ETL: Extract, Transform and Load

25. やってよかったこと
• データ処理の確認作業が減った
• 「すぐ使える」と同じくらい「質が担保されている」
ことは重要
• 技術的資産がたまりやすい
• 全員が共通のデータマートから処理を行うので、
クエリやノウハウが使いまわせる
• 案件初期段階で、顧客に「価値」が見える
24

26. よくなかったこと
• データ量が増える
• データ処理量が増える
• 「情報量」自体は増えない
• 作ってもあんまり使われないデータがあるわり
に消そうとすると怒られる
25

27. まとめ
• データ分析は log -> data -> datamart
• 分析の価値は、DoとActionで決まる
• システム開発と比べて、データ分析は辛い面
がある
• 「すぐ使える」と同じくらい「質が担保される」が
重要
26