Soumettre la recherche
Mettre en ligne
データ分析基盤について
•
5 j'aime
•
2,292 vues
Yuta Inamura
Suivre
企業におけるデータ分析基盤のための基礎情報をまとめました
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 18
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
Ryoma Nagata
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Mineaki Motohashi
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
株式会社オプト 仙台ラボラトリ
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
cyberagent
Recommandé
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
Ryoma Nagata
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Mineaki Motohashi
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
株式会社オプト 仙台ラボラトリ
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
cyberagent
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
@yuzutas0 Yokoyama
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
幸太朗 岩澤
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Snowflake Architecture and Performance
Snowflake Architecture and Performance
Mineaki Motohashi
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
SharePoint Online 外部共有を考える
SharePoint Online 外部共有を考える
Teruchika Yamada
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Recruit Technologies
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!デベロッパーネットワーク
Power Query Online
Power Query Online
Ryoma Nagata
3000社の業務データ絞り込みを支える技術
3000社の業務データ絞り込みを支える技術
Ryo Mitoma
Data Factory V2 新機能徹底活用入門
Data Factory V2 新機能徹底活用入門
Keisuke Fujikawa
機械学習モデルのサービングとは?
機械学習モデルのサービングとは?
Sho Tanaka
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
Precisely
Contenu connexe
Tendances
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
@yuzutas0 Yokoyama
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
幸太朗 岩澤
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Snowflake Architecture and Performance
Snowflake Architecture and Performance
Mineaki Motohashi
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
SharePoint Online 外部共有を考える
SharePoint Online 外部共有を考える
Teruchika Yamada
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Recruit Technologies
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!デベロッパーネットワーク
Power Query Online
Power Query Online
Ryoma Nagata
3000社の業務データ絞り込みを支える技術
3000社の業務データ絞り込みを支える技術
Ryo Mitoma
Data Factory V2 新機能徹底活用入門
Data Factory V2 新機能徹底活用入門
Keisuke Fujikawa
機械学習モデルのサービングとは?
機械学習モデルのサービングとは?
Sho Tanaka
Tendances
(20)
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Snowflake Architecture and Performance
Snowflake Architecture and Performance
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
SharePoint Online 外部共有を考える
SharePoint Online 外部共有を考える
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Power Query Online
Power Query Online
3000社の業務データ絞り込みを支える技術
3000社の業務データ絞り込みを支える技術
Data Factory V2 新機能徹底活用入門
Data Factory V2 新機能徹底活用入門
機械学習モデルのサービングとは?
機械学習モデルのサービングとは?
Similaire à データ分析基盤について
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
Precisely
データ視点のit資産価値評価の検討(経営情報学会2014)
データ視点のit資産価値評価の検討(経営情報学会2014)
Tetsu Kawata
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
Jun Kawahara
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
de:code 2017
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
IoTビジネス共創ラボ
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
クラウドを活用した自由自在なデータ分析
クラウドを活用した自由自在なデータ分析
aiichiro
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
Takumi Kurosawa
ビッグデータビジネスの捉え方
ビッグデータビジネスの捉え方
Takatsugu Kobayashi
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
データファブリックによるトランザクションの速度でアナリティクスを提供
データファブリックによるトランザクションの速度でアナリティクスを提供
Denodo
ビッグデータ
ビッグデータ
Shigeru Kishikawa
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
Dennis Sugahara
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
NTT Software Innovation Center
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
Insight Technology, Inc.
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
基調講演:「多様化する情報を支える技術」/西川徹
基調講演:「多様化する情報を支える技術」/西川徹
Preferred Networks
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
Similaire à データ分析基盤について
(20)
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
データ視点のit資産価値評価の検討(経営情報学会2014)
データ視点のit資産価値評価の検討(経営情報学会2014)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
クラウドを活用した自由自在なデータ分析
クラウドを活用した自由自在なデータ分析
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
ビッグデータビジネスの捉え方
ビッグデータビジネスの捉え方
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
データファブリックによるトランザクションの速度でアナリティクスを提供
データファブリックによるトランザクションの速度でアナリティクスを提供
ビッグデータ
ビッグデータ
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
基調講演:「多様化する情報を支える技術」/西川徹
基調講演:「多様化する情報を支える技術」/西川徹
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
Dernier
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Dernier
(10)
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
データ分析基盤について
1.
2018/07/19 稲村 勇太 データ分析基盤についての 基礎知識
2.
目次 2 1.基礎情報 2.データ分析基盤の構築事例
3.
基礎情報 3
4.
データ分析基盤とは 4 ビジネスを有利に進めるために 大量のデータを保管・分析する基盤 データ分析基盤 分析 売上 画像・動画データ 外部データ (天気、SNSなど) 分析 経営企画ユーザ部門
5.
データ分析基盤が必要になっている背景 5 データ分析基盤を構築する主な理由 ビッグデータ処理 データの価値化 PDCA サイクルの高速化 インターネットの発展や、スマート デバイス・IoTの普及に伴い、解析 対象となるデータが膨大に増加し ており、それに耐えうる処理基盤 が必要になっている。 企業内で活用できずに眠っている データや外部データを組み合わ せ、ビジネスに役立てるよう「価値 化」するため、各部門のデータを横 通しで解析できる基盤が必要に なっている。 市場の変化が激しい今、これまで 以上に高速にPDCAサイクルを回 し、業務改善・方針転換をする必 要があり、その意思決定をするた めの情報分析基盤が求められて いる。
6.
データ分析基盤の構成要素 6 データ分析基盤は 主に下記のような構成で構築されます Strage (データ収集) DWH (アドホック分析用) DataMart (用途別データ) ETL (データ抽出・変換) アドホッククエリ BI
7.
構築の流れ 7 ①現状データの調査 ②方針策定 ③データ構築 ④運用 既存のデータを調査し、 データの欠陥・重複状況を把握する 調査を踏まえ、データ状態の改善計画の立案/データ整備・ 業務改善方法/アプリ改修などの必要な対策を検討する 活用しやすい形にデータを整形(クレンジング) しながら、分析基盤を構築する 通常業務の中で、 汚れたデータを適宜クレンジングする コンサルティング SI
8.
構成例 8 AWSとGCPそれぞれの特性を活かした ハイブリッド構成 Strage (データ収集) DWH (アドホック分析用) DataMart (用途別データ) ETL (データ抽出・変換) アドホッククエリ BI AWS S3 AWS Redshift AWS
EMR AWS RDS ※上記構成はあくまで一例です。
9.
(参考)DataLake/DWH/DataMart 9 DataLake rawデータを蓄積・保存するストレージ。 将来どんな活用が出来るかは未知数だが、データ の形式や内容は問わず集積する。 各種ログ DWH (DataWareHouse) データレイクから必要な情報のみを抽出・集約した データの集まり。アドホック分析の際に用いる。 最終的なデータ利用者のためのデータの集まり。 DWHは大量データを分析には特化しているが、1度 に多くのリクエストに対して同時に処理することには 不向きなので、それぞれの利用者にあわせたデー タウェアハウスデータの集出・集約結果を登録する 必要がある。 DataMart
10.
(参考)各種パブリッククラウドの機能比較一覧 10 AWS GCP Azure
Alibaba Cloud IBM Cloud Object Strage Amazon S3 Cloud Storage ・Azure Strage ・Data Lake Store OSS IBM Cloud Object Storage - - - - - ETL ・Amazon Glue ・AWS DataPipeline ・DataFlow ・CloudDataPREP DataFactory DataWorks (DataIntegration) IBM Data Connect ETL処理を支援する フレームワークサービス ストリーミング処理に強み - 帯域幅の設定まで可能 - DWH Amazon Redshift BigQuery Azure SQL Data Warehouse ・HybridDB ・MaxCompute Db2 Warehouse on Cloud 導入事例が豊富 データを保存するだけなら ほぼ無料で使える インスタンスの一時停止が可 能 下記DataWorksとセットで 利用することを想定 超並列処理(MPP)により スケーラビリティを実現 アドホッククエリ Amazon Athena BigQuery Azure Data Lake Analytics DataWorks ・Knowledge Catalog S3に対するクエリも可能 RedShiftより高速に実行可能 - 使いやすいUIもセットで 提供可能な点が強み 厳密な意味でのアドホックサー ビスではない(BI機能一部) DataMart ・Amazon RDS ・DynamoDB ・Cloud SQL ・Cloud DataStore ・Azure SQL Database ・DocumentDB ・RDS ・OTS ・Cloudant NoSQL DB ・Compose系 MySQL PostgreSQL RabbitMQ 他と大差なし 他と大差なし 他と大差なし 他と大差なし OSS系DBのクラウド版 BI Amazon QuickSight DataStudio Azure PowerBI ・DataV ・QuickBI Knowledge Catalog モバイルでも利用可能 リアルタイム分析には不向き モバイルでも利用可能 QuickBIは主に アドホック分析に用いる データストア、 解析の統合環境 IaaSだけでなくPaaSとしての機能比較もした上で それぞれの特性を活かした基盤構築が必要
11.
データ分析基盤の構築事例 11
12.
無印良品さん-AWS,TreasureData 12 出典は下記URL。2014年の記事なので少し古いです。 http://ascii.jp/elem/000/000/890/890206/index-2.html https://www.treasuredata.co.jp/customers/muji/
13.
あきんどスシローさん-AWS,TreasureData 13 出典は下記URL。 https://aws.amazon.com/jp/solutions/case-studies/akindo-sushiro/
14.
Rettyさん-AWS,GCP,TreasureData 14 出典は下記URL。 https://speakerdeck.com/chie8842/karamunahuomatutofalsekihon-2 AWS EC2 TreasureDate AWS RDS AWS
DataPipeline AWS Kinesis AWS DataPipeline AWS RDS GCP Big Query GCP Cloud Strage GCP Cloud Strage fluented
15.
リクルートライフスタイルさん-AWS,GCP 15 出典は下記URL。設計思想も明かしてくれており、参考になります。 https://www.slideshare.net/RecruitLifestyle/ss-84149204 https://engineer.recruit-lifestyle.co.jp/techblog/2017-08-07-how-to-load-data-into-bigquer/ GCP DataFlow
16.
ドリコムさん-AWS,TreasureData 16 出典は下記URL。TD,GCP,AWSの比較もあります。 https://tech.drecom.co.jp/migrate-to-treasure-data-and-aws/
17.
参考URL 17 1)基礎から始めるDB入門セミナー(基礎の基礎) http://www.oracle.com/technetwork/jp/articles/index-155234-ja.html 2)AWSのデータ分析入門 https://d0.awsstatic.com/events/jp/2017/summit/slide/D4T3-2.pdf 3)分析基盤の導入に不可欠なデータ統合の進め方 https://enterprisezine.jp/dbonline/detail/10085
18.
EOF 18
Télécharger maintenant