This document discusses KT's career in data management and how data management has changed over time. It describes KT's experience working for 7 years at a systems integrator, 5 years at Tableau, and 1.5 years at Snowflake. It then discusses how the role of data management has evolved from focusing on data warehousing and business intelligence in systems from the 1980s to the growing importance of data visualization and self-service analytics today.
Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME
データマネジメント今昔物語〜プロダクトの視点から見るカオスと進化 #TechMar
1. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データマネジメント
今昔物語
プロダクトの視点から見る
カオスと進化
2021.12.10
KT | Grand Master of DATA Saber @DATA_Saber
(Product Marketing Manager, Snowflake)
3. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
KTの経歴
日系システムインテグレーター(SIer)7年→Tableau5年→Snowflake1年半
※間に買収が入って厳密な社数はもっと多いのですがここでは省略します
実際に操作したことがあるデータ関連プロダクト
Cognos、QlikView、SQL Server(SSIS(ETL)も含む)、
Tableau、Snowflake
※その他にもさまざまな製品がありますが、
無責任なことは言いたくないので私の経験でお話しします
6. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
おことわり
TableauとSnowflakeという類稀なる(と信じている)プロダクトに
人生を(いい意味で)変えられた個人が語るお話です。
7. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データマネジメントとは?
8. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
マネジメントとは?
[management] 管理・経営
組織に成果を上げさせるための道具、機能、機関
[manage] 取り扱う・処理する
英語的には「手腕、処理能力、うまく処理する」
<語源>
man=手 ラテン語のmanus 馬の調教(伊:maneggiare)
馬を御する・馴らす・手綱を引く・操作する・なんとかする
参考:
マネジメントとは?定義と役割・今後求められる 3つのポイントを徹底解説
続 10分でわかるカタカナ語 第 11回 マネージメント
『マネジメント』の意味とは?英語の『 management』を正しく理解して使いこなそう!
managementの語源は何なのでしょうか?
英単語 manage の意味
9. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データとは?
紙に記載していた
情報
システムに
登録された購買履歴
Webサイト
アクセス
人のいた場所
動き
10. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データは世界を写す鏡
〜データを知ることは世界を知ること
11. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データマネジメントとは
(世の中の状況の写しである)データをうまく扱って、
企業に成果を上げさせる経営をやっていくこと
(それを実現する技術や方法のことを指す場合もある)
→ただしここにこだわりすぎてはいけない
→大切なことは「データを御していかに経営できるか(経営層だけじゃない、現場も含めて)」
12. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
身の回りを正しく把握して、意思決定する・・
当たり前では?
「身の」周りが広すぎて、私たちの直感を鈍らせる
13. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
変化する
データマネジメント
14. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
営業
マーケ
製造
サポート
データウェアハウス
(DWH)
BIツール
レポーティング
可視化
ETL
かつての情報系システム 1980年頃〜
データ取得から可視化全体をビジネスインテリジェンス(BI)と呼ぶこともある
デ
|
タ
モ
デ
ル
データ
マート
キュ
ーブ
基幹システム
15. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
インターネットの普及 1995年〜2000年頃
あらゆる活動が「データの上で」完結し始める
リアル世界のコピー→システムの上で行動した結果がそのままデータ化
データを見なければ
起こっている事象を理解できない世界
16. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
営業
マーケ
製造
サポート
データウェアハウス
(DWH)
BIツール
レポーティング
可視化
ETL
かつての情報系システムの課題
データ取得から可視化全体をビジネスインテリジェンス(BI)と呼ぶこともある
デ
|
タ
モ
デ
ル
データ
マート
キュ
ーブ
基幹システム
💢
💢
💢
17. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
2003年 Tableau創立
18. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
BI・可視化領域
における変遷
参考 The 2021 Gartner BI Magic Quadrant Visualized in Tableau
19. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
ビジュアル分析のサイクル
セルフサービスBIの究極の姿
〜ビジュアル分析のサイクル
20. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
2016年頃、データ可視化技術の普及
データを扱う人が増えた
良いこと
• より多くのインサイト
• より深い議論
• 合意形成
悪いこと
使い方をよく知らない
• 間違った処理
• 重たい処理
21. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
営業
マーケ
製造
サポート
データウェアハウス
(DWH)
ETL
セルフサービスBIとガバナンスの狭間で
データ
マート
キュ
ーブ
基幹システム
野良BI
野良BI
BIツール
レポーティング
可視化
デ
|
タ
モ
デ
ル
💡
💡
💡
💡
💡
💢💢💢
💢
💢
💢
22. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
セルフサービスとはどういうことか?
事前に想定されるディメンションを定義することは難しい
時間軸のデータの例
高精細な秒単位のデータ V.S. 集計された日単位のデータ
件数÷60秒÷60分÷24時間=1/86,400
1億件のデータなら 1,157件
1億件のデータがおいそれと分析できたか?
23. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
急速に接近した人々の間にある言葉の壁
「生データください」
データソースや生データという言葉が意味しているものは人によって違う
言葉の意味は本当に同じか? 確認しながら進めないといけない
24. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データに辿り着けない問題
ビジュアル分析のサイクル
25. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データ量の問題
Tableauの場合はhyperで対応した (2016年)
Welcome, Hyper team, to the Tableau community!
26. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
前処理の問題
Tableauの場合はPrep Builderで対応した (2018年)
28. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データマネジメントの肝
データよデータ、あなたはどこからきて、どこへゆく?
データパイプラインを理解すること。方法の例
1. 誰にとっても可視化することと(Tableau:Data Management Addon)
2. パイプラインそのものを極限までシンプルにする(Snowflake:データクラウド)
29. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
これからどこへ向かうのか?
数十年前の枠組みや考え方をそのまま使うのか?
あなたが作ろうとしているのはデータウェアハウスやデータレイクなのか?
30. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
クラウドリソースを使ったデータ基盤
なぜクラウドサービスなのか?
→リソースを組み合わせずに仕組みだけ提供する方法の限界
リソースの問題が解決すればデータパイプラインは必ずシンプルになる
34. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
営業
マーケ
製造
サポート
データをつなぐネットワーク〜Snowflakeの構想
組織内データ
💡
💡
💡
💡
💡
💡 💡
💡
💡
💡
💡
SNS
💡
💡
💡
💡
気象
市場
人流
関連会社
サプライ
チェーン
外部データ
データ
クラウド
35. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
経験と勘にデータが負ける?
36. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
経験と勘 2.0
経験と勘
自分が経験した事象による判断
データによる意思決定=経験と勘 2.0
たくさんの人が経験した事象による総合的な判断
37. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
課題その1:必要なデータを見れていない
事象
元データ
取得できていない
設計・体験想定ミス
取得時のエラー
分析用
データ
データ
基盤
?
連携されていない
削除されている
集計されている
前処理やリクエストに時間がかかる
データがどこにあるかわからない
データがあることを知らない
38. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
有用にして危険でもあるストーリーテリング
人は断片をつなぎ合わせて物語にしてしまうのが得意(早とちり・早合点)
意思決定は、基本的に早い方がいい(遅れると意味がないことがほとんど)
少ない情報から判断するのが得意
→なぜなら私たちは自然界では多くの情報を得ることはできないから
知識と理性でこの壁を越えないといけない
39. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
課題その2:データを信じられるか?
データによる経験を自分の経験のように「自分のものにできるか?」
そのためにはデータリテラシーやデータを操作するスキルが必要
信じられなければ強い推進力で実行できない
40. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
テクノロジーを自分の身体の一部にして
データを自分の思考の一部にする
…新人類?
41. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
アップデートを
求められ続ける世界へ
42. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
技術の進化と現実世界の変化は相互に影響
技術の進化
(プロダクト)
文明
現実世界の変化
(業務変革)
文化
相互に
影響
43. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
私が出会ったプロダクト
〜Tableauのケース
多くの人が考えていたジャンル:
BI(Business Intelligence)、エンタープライズレポーティング
↓
Tableauが標榜するコンセプト:
ビジュアル分析
↓
その結果新しく生まれたジャンル:
モダンBI それから…?
44. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
私が出会ったプロダクト
〜Snowflakeのケース
多くの人が考えていたジャンル:
クラウドDWH
↓
Snowflakeが標榜するコンセプト:
データクラウド
↓
その結果新しく生まれるかもしれないジャンル:
データシェアリング?データ収益化?データのネットワーク?
データコラボレーション? それから…?
45. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データマネジメントを実現するには
自分が本質的にやりたいことを見失わないようにしながら
最新技術の「考え方・やり方」を取り入れ
常にアップデートしていく人間になること
また、そういう人が集まる組織を作ること
を 御 す る 組 織
46. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
いいね! お願いします
https://101.gg/kt
47. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データリテラシー 導入編 12/15-17
48. 2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
Thank you!
@DATA_Saber
KT Channel
https://www.youtube.com/c/DATASaber