Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à データ分析プラットフォームの歩き方
Similaire à データ分析プラットフォームの歩き方 (20)
Plus de Tomoyuki Oota
Plus de Tomoyuki Oota (10)
データ分析プラットフォームの歩き方
- 5. 今一番バズってるもの
- 7. 0 20 40 60 80 100 120 140 160 180 200 0 10 20 30 40 50 60 70 2012/10/28 2013/10/28 2014/10/28 2015/10/28 2016/10/28 2017/10/28 「AI Deep Learning」Trend Search 「NVIDIA Corp」Stock Price 出典）https://trends.google.com/trends/explore?date=today%205-y&q=AI%20Deep%20Learning 出典）https://stooq.com/q/d/?s=nvda.us&c=0&d1=20121027&d2=20171027&i=w
- 8. 0 5 10 15 20 25 30 2010年 NEC 2011年 Xerox 2012年 University of Toronto 2013年 Clarifai 2014年 Google 2015年 Microsoft 2016年 MPS 人間 画像識別誤り率（％） 人間の識別能力を超過 社会実装が進む 出典）Large Scale Visual Recognition Challenge (ILSVRC)
- 10. RDBプロのその次へ
- 12. ビジネス能力 Business problem solving データ サイエンス能力 data science データ エンジニアリング能力 data engineering 出典）日本データサイエンティスト協会 http://www.datascientist.or.jp/ 背景を踏まえてビジネス 課題を整理・解決する力。 情報処理、人口知能、 統計学等の情報科学の 知恵を理解し、使う力。 データサイエンスを 意味のある形に実装、 運用する力
- 13. ビジネス 課題解決 データ 課題解決 基礎能力 プロジェクトプロセス 20 4解決 論理的思考 18 行動規範 12 4 データ の入手 3 データの 理解・検証 5 意味合いの 抽出・洞察 活動マネジメント 20 事業に実装 8 知財 6 出典）日本データサイエンティスト協会 http://www.datascientist.or.jp/
- 14. データ 課題解決 解決技術 非構造化 データ処理 基礎技術 統計数理基礎 16 グラフィカルモデル 3 音声/音楽処理 5 画像・動画処理 8言語処理 13 最適化 10 データ可視化 37 パターン発見 3 性質・関係性把握 14 検定 / 判断 11 シミュレーション / データ同化 5 グルーピング 14 データ加工 8 時系列分析 7 機器学習 20 サンプリング 5 予測 17 データの理解・検証 23 意味合いの抽出・洞察 4 分析プロセス 5 出典）日本データサイエンティスト協会 http://www.datascientist.or.jp/
- 15. 守る技術 実装技術 基礎能力 環境構築 21 データ 共有 14 プログラミング 22 ＩＴセキュリティ 15 出典）日本データサイエンティスト協会 http://www.datascientist.or.jp/ データ 収集 16 データ 蓄積 17 データ 構造 11 データ 加工 13
- 17. 71 39 90 52 67 38 228 129 148 184 125 457 71 42 38 100 出典）日本データサイエンティスト協会 http://www.datascientist.or.jp/
- 19. 守る技術 実装技術 基礎能力 環境構築 21 データ 共有 14 プログラミング 22 ＩＴセキュリティ 15 出典）日本データサイエンティスト協会 http://www.datascientist.or.jp/ データ 収集 16 データ 蓄積 17 データ 構造 11 データ 加工 13
- 20. ビジネス能力 Business problem solving データ サイエンス能力 data science データ エンジニアリング能力 data engineering 出典）日本データサイエンティスト協会 http://www.datascientist.or.jp/ 背景を踏まえてビジネス 課題を整理・解決する力。 情報処理、人口知能、 統計学等の情報科学の 知恵を理解し、使う力。 データサイエンスを 意味のある形に実装、 運用する力
- 23. 処理 蓄積 収集 分析 オーケストレーション / ユーティリティ 入力 出力 ア ク シ ョ ン デ ー タ
- 25. 出典）総務省 政策白書 27年版 企業等におけるビッグデータの活用状況 46.7% 45.6% 23.8% 6.6% 5.2% 31.2% 0.4% 7.6% 5.7% 14.1% 1.2% 5.2% 2.0% 1.2% 1.3% 1.0% 1.3% 2.2% 3.5% 3.6% 5.7% 顧 客 デ ー タ 経 理 デ ー タ 業 務 日 誌 デ ー タ POS デ ー タ e コ マ ー ス に お け る 販 売 デ ー タ 電 子 メ ー ル CTI 音 声 デ ー タ 固 定 電 話 携 帯 電 話 ア ク セ ス ロ グ 動 画 ・ 映 像 視 聴 ロ グ Blog 、 SNS 等 記 事 デ ー タ GPS デ ー タ RFID デ ー タ セ ン サ ー デ ー タ 交 通 量 ・ 渋 滞 情 報 デ ー タ 気 象 デ ー タ 防 犯 ・ 遠 隔 監 視 カ メ ラ デ ー タ 電 子 カ ル テ デ ー タ 画 像 診 断 デ ー タ 電 子 レ セ プ ト デ ー タ 業務データ 販売記録顧客等とのコミュニケーション 自動取得 自動取得（M2M） 医療
- 26. 処理収集 分析 オーケストレーション / ユーティリティ 蓄積 Notebook
- 29. オーケストレーション / ユーティリティ 入力 出力 ア ク シ ョ ン デ ー タ 処理 蓄積 収集 分析 バッチ ストリーム アドホック ＡＡ ＢＩ データベース ストレージ 関係 処理方式 方向
- 30. オーケストレーション / ユーティリティ 入力 出力 ア ク シ ョ ン デ ー タ 処理 蓄積 収集 分析 バッチ ストリーム アドホック ＡＡ ＢＩ データベース ストレージ 方向 関係 処理方式
- 32. オーケストレーション / ユーティリティ 入力 出力 ア ク シ ョ ン デ ー タ 蓄積 収集 分析 ＡＡ ＢＩ データベース ストレージ 関係 処理方式 方向 処理 バッチ ストリーム アドホック
- 34. オーケストレーション / ユーティリティ 入力 出力 ア ク シ ョ ン デ ー タ 処理 蓄積 収集 分析 バッチ ストリーム アドホック ＡＡ ＢＩ データベース ストレージ 関係 処理方式 方向
- 35. 分類 BI：Business Intelligence AA：Advanced Analytics 目的 データの理解 データに基づいた意思決定 手法 演繹的分析 帰納的分析 可視化分析 (descriptive) 診断分析 (diagnostic) 予測分析 (predictive) 処方分析 (prescriptive) 何が起こったのか？ 何故起こったのか？ 何が起こるのか？ 何をすべきなのか？ 技術 データウェアハウス分析 ビックデータ分析 難易度 価 値 整形・加工したデータを分析し、アクションに必要な Hindsight(後知恵)、Insight(洞察)、Foresight(先見の明)を得る
- 36. オーケストレーション / ユーティリティ 入力 出力 ア ク シ ョ ン デ ー タ 処理収集 分析 バッチ ストリーム アドホック ＡＡ ＢＩ 関係 処理方式 方向 蓄積 データベース ストレージ
- 39. まとめ 今回のゴール ✓ データ分析プラットフォームの構成要素を知り全体像をイメージ できるようになること 次回以降のゴール ✓ 構成要素をさらにもう一段掘り下げて製品の選定ができるように なること
- 41. Demo「はじめの一歩」
- 42. 処理 蓄積 収集入力 分析 出力 オーケストレーション Windows10 IoTCore onRaspberryPi3 Azure IoT Hub Azure Data Lake Store Azure Stream Analytics Power BI Service スマホ 操作
- 43. 処理 蓄積 収集入力 分析 出力 オーケストレーション Windows10 IoTCore onRaspberryPi3 Azure IoT Hub Azure Data Lake Store Azure Stream Analytics Power BI Service スマホ 操作
- 46. 処理 蓄積 収集入力 分析 出力 オーケストレーション Azure Data Lake Store Power BI Service 感謝 Microsoft Forms Microsoft Flow ご参加いただき ありがとう ございました！ 参加者の皆様に データを生成して もらいます！
- 47. 処理 蓄積 収集入力 分析 出力 オーケストレーション Azure Data Lake Store Power BI Service 感謝 Microsoft Forms Microsoft Flow ご参加いただき ありがとう ございました！ 参加者の皆様に データを生成して もらいます！
- 50. Power BIスキルを磨くには「 Power BI 勉強会」がおすすめ Demo#2は管理人の清水さん（Microsoft MVP）のネタを拝借 🙏