1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
尾崎 弘宗
データの見える化で進める
データドリブンカンパニー
2017年9月8日

2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
今日のテーマ
2
見える化の先

3. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
自己紹介
3
尾崎 弘宗
ヤフー株式会社
データ&サイエンスソリューション統括本部
経歴
〜2005年 某SIer会社（官公庁、金融系のデータベース設計、開発）
2005年〜 ヤフー株式会社入社（データベースプラットフォーム設計〜運用）
2014年〜 データ&サイエンスソリューション統括本部 （DMP、データマネージメント）
2016年〜 大阪オフィス勤務

4. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.

5. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
ヤフーのビッグデータ

6. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
ヤフーのサービス
6

7. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
ヤフーのユーザー
7
9104
725
3970

8. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
ヤフーのデータ
8

9. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
マルチビッグデータ
9
GoogleYahoo! NETFLIX Quora
AOL PayPal ebay amazon
Gmail
yelp

10. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
新たなる挑戦
10
マルチビッグデータ
ドリブンカンパニーへ

11. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
例：タイムライン
11

12. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
例：ショッピング
12

13. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
例：広告
13

14. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
もっとデータ活用を
スケールしたい！
今後は？
14

15. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
阻害要因は？
15
他部署のサービスがどんなデータを
持っているのか分かってない
（データが多すぎて。。）

16. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データを見える化する
（ツール開発しよう）
解決策
16

17. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ見える化ツール（イメージ）
17
○○が分かる ○△が分かる ○□が分かる ○×が分かる
△○が分かる △△が分かる △○が分かる △×が分かる
カテゴリから探す
データ一覧
データ名 サービス データ説明 データ項目 タグ
落札AB
データ
ヤフオク! ヤフオクでほげ
ほげ
落札日
落札品
タグ1
ホテル予約
CD情報
トラベル トラベルでほげ
ほげ
予約日
予約人数
タグ2
タグ3
ニュース
EFデータ
ニュース ニュースでほげ
ほげ
記事カテゴリ タグ1
データ詳細
データ名 落札ABデータ
データ説明 ヤフオクでほげほげ
タグ タグ１
ナレッジ ショッピングでほげほげの時のページ出し分けに使用
データ項目 名称 説明 型 長さ
rdate 落札日 落札した日時 DATE
rname 落札品 落札した品名 CHAR 200

18. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ見える化ツール
目的と役割

19. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ見える化ツールの目的
19
マルチビッグデータ活用の促進

20. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ活用の流れ
20
企画知る 活用

21. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
・どんなデータがあるの？
・このデータどこにあるの？
・使っていいデータなのか？
企画 活用
データ活用の課題
21
知る

22. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
・どんなデータがあるの？
・このデータどこにあるの？
・使っていいデータなのか？
データ活用の現状
22
企画知る 活用
活用アイデアを出し辛い 活用に繋がりにくい

23. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
知る
データ見える化ツールがあると
23
企画 活用
・どんなデータがあるか分かる
・データがどこにあるか分かる
・使っていいデータか分かる

24. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ見える化ツールの役割
24
沢山の人に
データを知ってもらい、
活用アイデアを増やす

25. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
活用
活用数を増やすためには？
25
企画知る

26. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
企画を考える人を増やす
26
企画 活用知る

27. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
企画
データを知っている人を増やす
27
活用知る

28. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
企画
データ見える化ツールの範囲
28
活用知る
沢山の人に
データを伝え、企画を考えてもらうお手伝い

29. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ見える化ツールの利用者
29
ビジネス（営業、企画職）、エンジニア全般

30. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ活用に必要なスキル
30
ビジネス
(business
problem
solving)
エンジニア
リング
(engineering)
サイエンス
(science)

31. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
現状のマルチビッグデータ活用者
31
ビジネス
(business
problem
solving)
エンジニア
リング
(engineering)
サイエンス
(science)

32. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
ビジネス側も巻き込んで広げる
32
ビジネス
(business
problem
solving)
エンジニア
リング
(engineering)
サイエンス
(science)

33. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ見える化ツール
33
ビジネス（営業、企画職）、エンジニア全般
データを知ってもらい、活用アイデアを増やす
マルチビッグデータ活用の促進

34. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
一言でいうと
34
みんなでデータを知り、
アイデアを出すためのツール

35. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ見える化ツール
課題と解決策

36. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
課題1
36
ビジネス（営業、企画職）の人にも
もっとデータを知ってもらうためには？

37. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
レストランのメニューを目指した
37 画像：aflo

38. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.38
料理を選ぶようにデータを選ぶ
レストランのメニュー
・料理名
・値段
・素材
・調理方法など
データ見える化ツール
・データ名
・データ項目
・データ説明
・活用事例など
データ詳細
データ名 落札ABデータ
データ説明 ヤフオクでほげほげ
タグ タグ１
ナレッジ ショッピングでほげほげの時のページ出し分けに使用
データ項目 名称 説明 型 長さ
rdate 落札日 落札した日時 DATE
rname 落札品 落札した品名 CHAR 200
画像：aflo

39. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.39
料理を選ぶようにデータを選ぶ
レストランのメニュー
・料理名
・値段
・素材
・調理方法など
データ見える化ツール
・データ名
・データ項目
・データ説明
・活用事例など
データ詳細
データ名 落札ABデータ
データ説明 ヤフオクでほげほげ
タグ タグ１
ナレッジ ショッピングでほげほげの時のページ出し分けに使用
データ項目 名称 説明 型 長さ
rdate 落札日 落札した日時 DATE
rname 落札品 落札した品名 CHAR 200
画像：aflo

40. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
ツールで扱うデータ情報
40
ユーザーID 注文日時 商品名 単価 個数
100 2017/8/16 10:14 歯ブラシα 200 2
200 2017/8/18 21:14 石鹸ジュニア 500 4
300 2017/8/19 22:54 梅シャンプー 1000 1
注文データ
ID:100
ID:200
ID:300 データベース
例）ショッピングサイト

41. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
ツールで扱うデータ情報
41
ユーザーID 注文日時 商品名 単価 個数
100 2017/8/16 10:14 歯ブラシα 200 2
200 2017/8/18 21:14 石鹸ジュニア 500 4
300 2017/8/19 22:54 梅シャンプー 1000 1
注文データ
ID:100
ID:200
ID:300 データベース
例）ショッピングサイト
データ名→
データ項目名→

42. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
ビジネス側の人に伝える工夫
42
・エンジニア用語の排除（可能な限り）
例）テーブル名→データ名
カラム、フィールド→データ項目
・データ名を分かりやすく修正
・データ説明を分かりやすく修正
・データを分かりやすくカテゴリ分け
例）○○が分かるデータ

43. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
課題2
43
膨大なデータ情報をどうやって集めるのか？

44. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
膨大な種類のデータ
44
DWH
1.7PB
RDB
1,000dbs
KVS
2,000nodes
Object Storage
1,500nodes 非構造化データ
構造化＋非構造化＋半構造化データHadoop
7,000nodes
※2017年1月時点
構造化データ

45. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
膨大なデータ項目
45
DWH
1.7PB
RDB
1,000dbs
KVS
2,000nodes
Object Storage
1,500nodes 非構造化データ
構造化＋非構造化＋半構造化データHadoop
7,000nodes
※2017年1月時点
推定
テーブル数：約23,000
カラム数：約320,000
構造化データ

46. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
収集するデータ情報種類
46
Layer1 テクニカルメタデータ
データアクセスするために必要な情報
☆データ所在地
☆データ構造（データ名、データ項目）
Layer2 ビジネスメタデータ
データの意味を理解するために必要な情報
・データ名称、データ項目説明
・データ内容説明
Layer3 マルチユースメタデータ
データ取得目的とは別の用途、他部門で利用するために必要な情報
・データオーナー部署
・問い合わせ先
・セキュリティ区分
☆データ量
☆データ品質
・活用knowledge
・データ分類、タグ
・活用時の注意点
・活用範囲
・SLA
☆=機械的に収集が可能な情報

47. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
活用までのコストと収集コスト
47
Layer1 テクニカルメタデータ
データアクセスするために必要な情報
☆データ所在地
☆データ構造（データ名、データ項目）
Layer2 ビジネスメタデータ
データの意味を理解するために必要な情報
・データ名称、データ項目説明
・データ内容説明
Layer3 マルチユースメタデータ
データ取得目的とは別の用途、他部門で利用するために必要な情報
・データオーナー部署
・問い合わせ先
・セキュリティ区分
☆データ量
☆データ品質
・活用knowledge
・データ分類、タグ
・活用時の注意点
・活用範囲
・SLA
☆=機械的に収集が可能な情報
小
大
活用までの
コスト
小
大
情報収集の
コスト

48. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ情報収集のコストパフォーマンス
48
他部署サービスでも
活用が可能なデータ
他部署サービスでは
活用が難しいデータ
全てのデータに対して
詳細な説明まで記載するのは
コストに見合わない

49. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
価値の高いデータから収集
49
ヤフーの重要なデータ項目を定義、周知
該当するデータから収集

50. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
課題3
50
どんな情報があれば
活用アイデアに繋がるのか？

51. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
活用アイデア出しの例
（データドリブン）
51
データ例）ホテル予約サイト
データ名：宿泊者情報
説明：ホテル予約時に入力する宿泊者名、人数構成などの情報
アイデア例）ショッピングで子供用品をオススメする

52. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
活用アイデア出しのステップ
（データドリブン）
52
データ例）ホテル予約サイト
データ名：宿泊者情報
説明：ホテル予約時に入力する宿泊者名、人数構成などの情報
アイデア例）ショッピングで子供用品をオススメする
子供の人数を入力した人は子供がいる親だろう
コンテキスト
リーディング
例)大人2人、子供1人

53. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
コンテキストを読んだタグ付け
（データドリブン）
53
データ例）ホテル予約サイト
データ名：宿泊者情報
説明：ホテル予約時に入力する宿泊者名、人数構成などの情報
タグ：子供がいる親か分かるデータ
アイデア例）ショッピングで子供用品をオススメする
コンテキストリーディング
のステップを省略

54. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
活用アイデア出しの例
（課題ドリブン）
54
データ例）ホテル予約サイト
データ名：宿泊者情報
説明：ホテル予約時に入力する宿泊者名、人数構成などの情報
課題例）ショッピングで子供用品をオススメしたい

55. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
活用アイデア出しのステップ
（課題ドリブン）
55
データ例）ホテル予約サイト
データ名：宿泊者情報
説明：ホテル予約時に入力する宿泊者名、人数構成などの情報
課題例）ショッピングで子供用品をオススメしたい
子供の人数を入力した人は子供がいる親だろう
コンテキスト
リーディング
例)大人2人、子供1人

56. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
コンテキストを読んだタグ付け
（課題ドリブン）
56
データ例）ホテル予約サイト
データ名：宿泊者情報
説明：ホテル予約時に入力する宿泊者名、人数構成などの情報
タグ：子供がいる親か分かるデータ
課題例）ショッピングで子供用品をオススメしたい
コンテキストリーディング
のステップを省略

57. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
データ活用促進の
現状と今後

58. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
現状
58
・データ見える化ツールの社内リリース発表
・データ情報の収集方針の社内発表
（ヤフーの重要なデータ項目を定義、周知
して該当データから収集）
・説明会を実施

59. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
今後
59
・データ情報収集の促進
・データ情報登録の負担軽減
・キラーコンテンツ(データ)の作成
・データ活用アイデア出しのワークショップ
・アイデアを簡単に活用に繋げるスキーム作り

60. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
最後に

61. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.61
大阪オフィス紹介
現在
場所：大阪富国生命ビル（梅田）
社員数：約240名
・サービス開発エンジニア
・天気、災害、マッチングなど
・ビッグデータエンジニア
・サイエンス、データPF
・営業
・広告、ショッピング
10月から
大阪は２拠点体制に

62. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.62
大阪オフィス紹介
現在
場所：大阪富国生命ビル（梅田）
社員数：約240名
・サービス開発エンジニア
・天気、災害、マッチングなど
・ビッグデータエンジニア
・サイエンス、データPF
・営業
・広告、ショッピング
10月から
大阪は２拠点体制に
仲間を募集しています！
募集要項はこちら
https://about.yahoo.co.jp/hr/job-info/career/

63. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
以上です