Soumettre la recherche
Mettre en ligne
データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
•
1 j'aime
•
2,422 vues
Yosuke Katsuki
Suivre
2016年9月27日実施 ユーザ企業に学ぶビッグデータ分析基盤活用実践セミナー クラスメソッド発表資料
Lire moins
Lire la suite
Ingénierie
Signaler
Partager
Signaler
Partager
1 sur 42
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Alteryxの紹介とデモ
Alteryxの紹介とデモ
Yosuke Katsuki
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
Yosuke Katsuki
データ分析基盤について
データ分析基盤について
Yuta Inamura
各種SaaSやSNSデータの収集、蓄積、可視化を爆速で実現するモダンデータスタック(MDS)について
各種SaaSやSNSデータの収集、蓄積、可視化を爆速で実現するモダンデータスタック(MDS)について
Yuji Kanemoto
ビッグデータ分析基盤を支えるOSSたち
ビッグデータ分析基盤を支えるOSSたち
Toru Takahashi
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
cyberagent
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
Recommandé
Alteryxの紹介とデモ
Alteryxの紹介とデモ
Yosuke Katsuki
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
Yosuke Katsuki
データ分析基盤について
データ分析基盤について
Yuta Inamura
各種SaaSやSNSデータの収集、蓄積、可視化を爆速で実現するモダンデータスタック(MDS)について
各種SaaSやSNSデータの収集、蓄積、可視化を爆速で実現するモダンデータスタック(MDS)について
Yuji Kanemoto
ビッグデータ分析基盤を支えるOSSたち
ビッグデータ分析基盤を支えるOSSたち
Toru Takahashi
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
cyberagent
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
【輪読会】実践的データ基盤への処方箋
【輪読会】実践的データ基盤への処方箋
Momota Sasaki
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
NTT DATA Technology & Innovation
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
Azure Purview Linage for Dataflow/Spark
Azure Purview Linage for Dataflow/Spark
Ryoma Nagata
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
Recruit Lifestyle Co., Ltd.
BigData Architecture for Azure
BigData Architecture for Azure
Ryoma Nagata
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Ryoma Nagata
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
Insight Technology, Inc.
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
Delta lakesummary
Delta lakesummary
Ryoma Nagata
Power Query Online
Power Query Online
Ryoma Nagata
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
Recruit Lifestyle Co., Ltd.
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Takeo Hirakawa
【KSKアナリティクス】製品・サービス案内
【KSKアナリティクス】製品・サービス案内
KSK Analytics Inc.
【KSKアナリティクス】会社案内・事例紹介
【KSKアナリティクス】会社案内・事例紹介
KSK Analytics Inc.
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Google Cloud Platform - Japan
Databricks の始め方
Databricks の始め方
Ryoma Nagata
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
Yosuke Katsuki
東北大学AIE - 機械学習中級編とAzure紹介
東北大学AIE - 機械学習中級編とAzure紹介
Daiyu Hatakeyama
データベースの使い分けを考える
データベースの使い分けを考える
Yosuke Katsuki
Boost.Coroutine
Boost.Coroutine
melpon
Contenu connexe
Tendances
【輪読会】実践的データ基盤への処方箋
【輪読会】実践的データ基盤への処方箋
Momota Sasaki
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
NTT DATA Technology & Innovation
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
Azure Purview Linage for Dataflow/Spark
Azure Purview Linage for Dataflow/Spark
Ryoma Nagata
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
Recruit Lifestyle Co., Ltd.
BigData Architecture for Azure
BigData Architecture for Azure
Ryoma Nagata
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Ryoma Nagata
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
Insight Technology, Inc.
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
Delta lakesummary
Delta lakesummary
Ryoma Nagata
Power Query Online
Power Query Online
Ryoma Nagata
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
Recruit Lifestyle Co., Ltd.
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Takeo Hirakawa
【KSKアナリティクス】製品・サービス案内
【KSKアナリティクス】製品・サービス案内
KSK Analytics Inc.
【KSKアナリティクス】会社案内・事例紹介
【KSKアナリティクス】会社案内・事例紹介
KSK Analytics Inc.
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Google Cloud Platform - Japan
Databricks の始め方
Databricks の始め方
Ryoma Nagata
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
Yosuke Katsuki
東北大学AIE - 機械学習中級編とAzure紹介
東北大学AIE - 機械学習中級編とAzure紹介
Daiyu Hatakeyama
Tendances
(20)
【輪読会】実践的データ基盤への処方箋
【輪読会】実践的データ基盤への処方箋
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Azure Purview Linage for Dataflow/Spark
Azure Purview Linage for Dataflow/Spark
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
BigData Architecture for Azure
BigData Architecture for Azure
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Delta lakesummary
Delta lakesummary
Power Query Online
Power Query Online
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
Classmethod共催IT部門向け Tableauを活用した全社レベルのデータ民主化とガバナンス
【KSKアナリティクス】製品・サービス案内
【KSKアナリティクス】製品・サービス案内
【KSKアナリティクス】会社案内・事例紹介
【KSKアナリティクス】会社案内・事例紹介
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Databricks の始め方
Databricks の始め方
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
東北大学AIE - 機械学習中級編とAzure紹介
東北大学AIE - 機械学習中級編とAzure紹介
En vedette
データベースの使い分けを考える
データベースの使い分けを考える
Yosuke Katsuki
Boost.Coroutine
Boost.Coroutine
melpon
最速の言語Lua ~Python Hack-a-thon #3~
最速の言語Lua ~Python Hack-a-thon #3~
Yuki Tamura
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
Yosuke Katsuki
Tableau Conference 2016 know before you go
Tableau Conference 2016 know before you go
Yosuke Katsuki
Introduction to Hivemall
Introduction to Hivemall
Makoto Yui
API提供におけるOAuthの役割 #apijp
API提供におけるOAuthの役割 #apijp
Tatsuo Kudo
Microsoft Azure - SQL Data Warehouse
Microsoft Azure - SQL Data Warehouse
Microsoft
転職して半年経った(Genesis Lightning Talks Vol.48)
転職して半年経った(Genesis Lightning Talks Vol.48)
Yosuke Katsuki
python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集
Hikaru Takemura
Python東海Vol.5 IPythonをマスターしよう
Python東海Vol.5 IPythonをマスターしよう
Hiroshi Funai
Pythonで簡単ネットワーク分析
Pythonで簡単ネットワーク分析
antibayesian 俺がS式だ
Gensim
Gensim
saireya _
RとPythonによるデータ解析入門
RとPythonによるデータ解析入門
Atsushi Hayakawa
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
Katsuhiro Morishita
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
Shinichi Nakagawa
「Python言語」はじめの一歩 / First step of Python
「Python言語」はじめの一歩 / First step of Python
Takanori Suzuki
AWS初心者向けWebinar AWSでBig Data活用
AWS初心者向けWebinar AWSでBig Data活用
Amazon Web Services Japan
Programming言語Lua紹介(Internet版)
Programming言語Lua紹介(Internet版)
zetamatta
En vedette
(20)
データベースの使い分けを考える
データベースの使い分けを考える
Boost.Coroutine
Boost.Coroutine
最速の言語Lua ~Python Hack-a-thon #3~
最速の言語Lua ~Python Hack-a-thon #3~
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
re:Growth 2016 in TOKYO発表「AWS Glueの紹介」
Tableau Conference 2016 know before you go
Tableau Conference 2016 know before you go
Introduction to Hivemall
Introduction to Hivemall
API提供におけるOAuthの役割 #apijp
API提供におけるOAuthの役割 #apijp
Microsoft Azure - SQL Data Warehouse
Microsoft Azure - SQL Data Warehouse
転職して半年経った(Genesis Lightning Talks Vol.48)
転職して半年経った(Genesis Lightning Talks Vol.48)
python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集
Python東海Vol.5 IPythonをマスターしよう
Python東海Vol.5 IPythonをマスターしよう
Pythonで簡単ネットワーク分析
Pythonで簡単ネットワーク分析
Gensim
Gensim
RとPythonによるデータ解析入門
RとPythonによるデータ解析入門
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
「Python言語」はじめの一歩 / First step of Python
「Python言語」はじめの一歩 / First step of Python
AWS初心者向けWebinar AWSでBig Data活用
AWS初心者向けWebinar AWSでBig Data活用
Programming言語Lua紹介(Internet版)
Programming言語Lua紹介(Internet版)
Similaire à データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
AWS市場動向と求められる人材、その育成方法について
AWS市場動向と求められる人材、その育成方法について
Trainocate Japan, Ltd.
20190314 aws first_stepv2
20190314 aws first_stepv2
Trainocate Japan, Ltd.
20160608 JAWS-UG磐田
20160608 JAWS-UG磐田
Serverworks Co.,Ltd.
AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ
AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ
Amazon Web Services Japan
AWS市場動向と求められる人材、その育成方法について
AWS市場動向と求められる人材、その育成方法について
Trainocate Japan, Ltd.
2016-11-11 UMTP モデリングフォーラム2016 DDD実践のコツとazureによるモデル実装
2016-11-11 UMTP モデリングフォーラム2016 DDD実践のコツとazureによるモデル実装
貴志 上坂
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
Yasuhiro Horiuchi
クラウド・SaaS型 統合基幹業務システム 「CAM MACS」を支える PostgreSQL ~雲に乗ったゾウ~
クラウド・SaaS型 統合基幹業務システム 「CAM MACS」を支える PostgreSQL ~雲に乗ったゾウ~
学 松崎
Aws first step_v2
Aws first step_v2
Trainocate Japan, Ltd.
クラウド時代に必要とされる組織と人材育成について
クラウド時代に必要とされる組織と人材育成について
Trainocate Japan, Ltd.
スカイアーチセミナー:Web制作会社エンジニア様向け『クラウド活用3つの秘訣』:150225
スカイアーチセミナー:Web制作会社エンジニア様向け『クラウド活用3つの秘訣』:150225
株式会社スカイアーチネットワークス
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
Serverworks Co.,Ltd.
Saleshubアップロード用資料.pdf
Saleshubアップロード用資料.pdf
ssuserfc6126
2016年4月【Druvaソリューションアップデートセミナー】クラウド専業インテグレーターが考える次世代のデータ保護
2016年4月【Druvaソリューションアップデートセミナー】クラウド専業インテグレーターが考える次世代のデータ保護
Serverworks Co.,Ltd.
第5回 cogbot勉強会!
第5回 cogbot勉強会!
貴志 上坂
G tech2016 クラウド時代に必要とされる組織と人材育成について
G tech2016 クラウド時代に必要とされる組織と人材育成について
Trainocate Japan, Ltd.
スカイアーチセミナー:[スカイアーチ AWS共催]AWS移行のプロが教える!導入への3ステップ:150521
スカイアーチセミナー:[スカイアーチ AWS共催]AWS移行のプロが教える!導入への3ステップ:150521
株式会社スカイアーチネットワークス
ビックデータ最適解とAWSにおける新しい武器
ビックデータ最適解とAWSにおける新しい武器
Akihiro Kuwano
AWS_IoT_Appresso-event_20160721
AWS_IoT_Appresso-event_20160721
Takashi Koyanagawa
Let's_Start_IoT_with_AWS
Let's_Start_IoT_with_AWS
Takashi Koyanagawa
Similaire à データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
(20)
AWS市場動向と求められる人材、その育成方法について
AWS市場動向と求められる人材、その育成方法について
20190314 aws first_stepv2
20190314 aws first_stepv2
20160608 JAWS-UG磐田
20160608 JAWS-UG磐田
AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ
AWS Black Belt Online Seminar 2017 AWS Summit Tokyo 2017 まとめ
AWS市場動向と求められる人材、その育成方法について
AWS市場動向と求められる人材、その育成方法について
2016-11-11 UMTP モデリングフォーラム2016 DDD実践のコツとazureによるモデル実装
2016-11-11 UMTP モデリングフォーラム2016 DDD実践のコツとazureによるモデル実装
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
拡がるクラウドの利用用途 - AWSの強みとクラウド活用最新事例 -
クラウド・SaaS型 統合基幹業務システム 「CAM MACS」を支える PostgreSQL ~雲に乗ったゾウ~
クラウド・SaaS型 統合基幹業務システム 「CAM MACS」を支える PostgreSQL ~雲に乗ったゾウ~
Aws first step_v2
Aws first step_v2
クラウド時代に必要とされる組織と人材育成について
クラウド時代に必要とされる組織と人材育成について
スカイアーチセミナー:Web制作会社エンジニア様向け『クラウド活用3つの秘訣』:150225
スカイアーチセミナー:Web制作会社エンジニア様向け『クラウド活用3つの秘訣』:150225
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
2015年12月 Amazon RDS for Aurora セミナー in 関西 「Aurora検証のご紹介」
Saleshubアップロード用資料.pdf
Saleshubアップロード用資料.pdf
2016年4月【Druvaソリューションアップデートセミナー】クラウド専業インテグレーターが考える次世代のデータ保護
2016年4月【Druvaソリューションアップデートセミナー】クラウド専業インテグレーターが考える次世代のデータ保護
第5回 cogbot勉強会!
第5回 cogbot勉強会!
G tech2016 クラウド時代に必要とされる組織と人材育成について
G tech2016 クラウド時代に必要とされる組織と人材育成について
スカイアーチセミナー:[スカイアーチ AWS共催]AWS移行のプロが教える!導入への3ステップ:150521
スカイアーチセミナー:[スカイアーチ AWS共催]AWS移行のプロが教える!導入への3ステップ:150521
ビックデータ最適解とAWSにおける新しい武器
ビックデータ最適解とAWSにおける新しい武器
AWS_IoT_Appresso-event_20160721
AWS_IoT_Appresso-event_20160721
Let's_Start_IoT_with_AWS
Let's_Start_IoT_with_AWS
Plus de Yosuke Katsuki
クラスメソッド re:Growth 2020 online データ分析系新サービス・アップデートピックアップ
クラスメソッド re:Growth 2020 online データ分析系新サービス・アップデートピックアップ
Yosuke Katsuki
地方IT業界の行方(Genesis Lightning Talks Vol.47)
地方IT業界の行方(Genesis Lightning Talks Vol.47)
Yosuke Katsuki
英語の前の日本語(若者向け) @e-ZUKA Tech Night Vol.18
英語の前の日本語(若者向け) @e-ZUKA Tech Night Vol.18
Yosuke Katsuki
GLT Vol.45 そろそろ会場提供者も一言言っておくか(β版)
GLT Vol.45 そろそろ会場提供者も一言言っておくか(β版)
Yosuke Katsuki
Ltfes2011 yokatsuki
Ltfes2011 yokatsuki
Yosuke Katsuki
20101106 yokatsuki
20101106 yokatsuki
Yosuke Katsuki
Glt29 yokatsuki
Glt29 yokatsuki
Yosuke Katsuki
Glt15 yokatsuki
Glt15 yokatsuki
Yosuke Katsuki
Plus de Yosuke Katsuki
(8)
クラスメソッド re:Growth 2020 online データ分析系新サービス・アップデートピックアップ
クラスメソッド re:Growth 2020 online データ分析系新サービス・アップデートピックアップ
地方IT業界の行方(Genesis Lightning Talks Vol.47)
地方IT業界の行方(Genesis Lightning Talks Vol.47)
英語の前の日本語(若者向け) @e-ZUKA Tech Night Vol.18
英語の前の日本語(若者向け) @e-ZUKA Tech Night Vol.18
GLT Vol.45 そろそろ会場提供者も一言言っておくか(β版)
GLT Vol.45 そろそろ会場提供者も一言言っておくか(β版)
Ltfes2011 yokatsuki
Ltfes2011 yokatsuki
20101106 yokatsuki
20101106 yokatsuki
Glt29 yokatsuki
Glt29 yokatsuki
Glt15 yokatsuki
Glt15 yokatsuki
データ分析基盤構築のポイントと関連クラスメソッドサービスの紹介
1.
メンバーズ、CS・データ およびアナリティクスの紹介と 簡単な分析デモ 2016年9月27日 クラスメソッド株式会社 データインテグレーション部 甲木 洋介 ユーザー企業に学ぶビッグデータ分析基盤活用実践セミナー ~Amazon Redshift
で短期間導入・低コスト運用~
2.
会社紹介
3.
クラスメソッド株式会社 設立: 2004年、13期目 場所:秋葉原、札幌、上越、バンクーバ、ベルリン 事業: AWSコンサル :
約45名の専門チーム モバイルアプリサービス開発 : 約30名の専門チーム データ分析環境開発 : 約15名の専門チーム 体制:約100名のエンジニア集団 技術:クラウドでのデータ分析基盤に強み 全世界で14,000社以上あるAWSコンサルティングパートナーの内、 ・プレミアコンサルティングパートナー(全世界で31社) ・ビッグデータコンピテンシー (全世界で20社) ・モバイルコンピテンシー (全世界で 6社) に認定され、実績を積み重ねております。
4.
78 27 27 21
エンタープライズ レベルの設計と構築 クラウドネイティブ な設計と構築 クラウドネイティブ なシステム開発 クラウドネイティブ なシステム運用 世界31社 AWSプレミアコンサルティングパートナー認定 世界20社 APNビッグデータコンピテンシー認定 世界 6社 APNモバイルコンピテンシー認定 世界14人 AWSコミュニティヒーロー認定 人 人人人 13 エンタープライズ レベルのシステム運用人 AWS プロフェッショナル集団
5.
Amazon Redshift の代表的な導入事例 http://classmethod.jp/cases/
6.
Developers.IO (http://dev.classmethod.jp/) 社員執筆によるIT技術専門サイト 月間:100万PV、35万UU AWS /
ビッグデータ / モバイル / IoT を中心に 5,000 本以上の記事
7.
AWS総合支援サービス:メンバーズ コ ン サ ル テ ィ ン グ 構 築 支 援 24/365無人監視 セキュリティ監視 運用支援 TAM ご提案 構築 運用監視 フェーズごとに最適な支援を させていただきます。
8.
AWS総合支援サービス:メンバーズ 大幅割引、請求書送付、付帯損害保険、AWSサポートを 標準セットにして無料提供 AWS利用料金 (従量課金) AWSエンタープライズサポート $15,000~ 損害保険 5% 請求代行手数料 10% AWS利用料金(従量課金) + 請求代行手数料
無料 + 損害保険 無料 + AWSエンタープライズサポート 無料 + Amazon EC2 オンデマンド 対象インスタンス 10%オフ + Amazon CloudFront 64%オフ + フルサポート 10% 自社契約または 他社サービスの利用例 クラスメソッド メンバーズ 利用例
9.
メンバーズ プラン ラインナップ メンバーズ・フルサポート セキュリティ、ログ、バックアップ、チェックなど重要なサポートを受けたい方向け。 AWS利用を総合的に支援し、技術サポートを行います。 提供価格:AWS利用費
– 各種割引 + サービス費10% 幅広い技術サポート:AWS管理コンソール使い方支援、 AWS仕様確認、複数AWSアカウント発行(教 育用/開発用/本番用)、IAMアカウント発行、メンテナンス(インスタンスリブート、ハードウェア リタイア)予告、上限緩和申請代行(サーバー数、固定IP数、ロードバランサー、負荷テスト、脆弱 性テスト、ネットワーク関連)、リザーブドインスタンス購入代行、スポットインスタンス購入代行、 利用改善、コスト最適化 メンバーズ・バウチャー 年間の予算枠が決まっていてその中でAWSを活用したい方向け。 AWS利用費に上限枠を設定して提供します。 提供価格:AWS利用費(上限枠設定、100万円~) – 各種割引 + サービス費5% メンバーズ・スタート 最も安くAWSを使いたいが、万が一のサポートを受けたい方向け。 AWS利用費に各種特典を付与して提供します。 提供価格:AWS利用費 - 各種割引
10.
メンバーズ プラン ラインナップ クラスメソッド
メンバーズ で検索 https://m.classmethod.jp/ クラスメソッド メンバーズ
11.
データ分析の スモールスタートに 必要なもの
12.
データ分析のスモールスタートに必要なもの 1. 分析したいテーマがあること 2. 分析できるデータがあること 3.
分析のためのツールが用意できること 12
13.
1.分析したいテーマがあること 在庫管理 事業部/地区別売上実績
ユーザ動向把握 ポイント/クーポン利用実績 13
14.
1.分析したいテーマがあること 在庫管理 事業部/地区別売上実績
ユーザ動向把握 ポイント/クーポン利用実績 データを集めただけでは 分析結果は現れない 14
15.
2.分析できるデータがあること データの構造を把握しておく 何が足りてて、何が足りないのか把握する
自動連携は一旦後回しでも良い 15
16.
2.分析できるデータがあること データの構造を把握しておく 何が足りてて、何が足りないのか把握する
自動連携は一旦後回しでも良い スモールスタートなら 欲張らない 16
17.
3.分析の為のツールが用意できること データベース管理サービスとBIツール 少人数で大量の集計が発生するならカラム型
大人数で少数の検索なら従来型RDB(行志向) 安く始めるならクラウドサービスから選ぶ BIツールは帳票重視かビジュアル重視かで選択 17
18.
3.分析の為のツールが用意できること 継続的なデータ投入が発生するならば、ETLの 仕組みを検討 安くするなら手組みのスクリプト+cron
ETLツール導入で効率化 スケジューリング機能 エラー通知、リトライ機能 CDC(Change Data Capture: 差分更新)機能 予算 vs 手出し工数 18
19.
AWSでデータ分析を始める 具体例と注意点
20.
全体の流れ データ準備 データ蓄積(Amazon
S3) データベース管理サービス準備(Amazon Redshift) データロード、集計 データ分析(Tableau Desktop) チューニング 20
21.
デモの流れイメージ 21 テキストデータをS3に格納し、Redshiftへcopy その後、Tableau Desktopで分析 テキスト データ 分析用 Desktop 分析者 DWH (Redshift) クラウド ストレージ (S3) 業務 データ 集計 データ オープン データ Copyコマンド
22.
デモに使用するデータ 22 Amazon Redshiftサンプルデータベース http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c_sampledb.html
23.
データ準備 基幹系からの特定期間データ抜き出し マスタ系は全件抽出の洗い替え形式も
経験上の理想はタブ区切り、囲み文字なし、文字 コード統一 データ型は可能な限り正確に把握しておくこと 巨大なデータはファイル名の接頭辞を揃えて複数 ファイルに分割しておく 各ファイルがgzip圧縮されているとより望ましい 23
24.
データ蓄積(Amazon S3) 生データは一旦全てS3に保存するのがお薦め
データ保全 必要に応じて別用途で再加工できる ETLツールも使えるが、安くするならaws cli ファイルをディレクトリで整理する場合には、 <システム名>/<テーブル名>/<日付>がお薦め 24
25.
デモ S3ファイルアップロード (aws cli)
26.
データベース管理サービス準備(Amazon Redshift) 大量の集計が発生する場合は列志向型DB
行単位のアクセスが中心だったり、同時接続数が 多い場合は従来型(行志向)RDB 必要に応じてノードタイプ、サイズは変更できる まずは余裕を持って構成する 26
27.
デモ Redshift構成確認
28.
Amazon Redshiftクラスタ起動前に必要な設定 VPC
インターネットゲートウェイ ルートテーブル サブネット (EIP) セキュリティグループ サブネットグループ パラメータグループ IAMロール 28
29.
Redshiftクラスタ構築テンプレート化 29 http://dev.classmethod.jp/server- side/db/cloudformation_for_redshift_01/
30.
Redshiftクラスタ構築テンプレート化 30 CloudFormationテンプレートで Redshiftクラスタ構成を自動化
31.
データロード・集計 一旦、生データをそのままの形でテーブルロードし、 必要に合わせて集計テーブルを作成する(ELTの順) 列志向型DBのロード処理は都度INSERTを避ける
ETLツールも使えるが、安く始めるなら copyコマンド + 生SQL 集計処理も都度INSERTを避ける SELECT INSERT CREATE TABLE AS SELECT 必要に応じてスキーマを分け、中間作業テーブルをBI ツールから見えないようにする 31
32.
データロード・集計 スキーマ構成イメージ 32
33.
デモ Redshiftデータロード (copyコマンド)
34.
データ分析 Tableauによるビジュアル分析 Redshiftに直アクセス 34
35.
デモ Tableau Desktop
36.
クラスメソッド流、ビッグデータ案件の進め方 処理性能の期待値を確認する 例)BIツール上でのレスポンス30秒以下 チューニング無し、基盤構成変更のみで性能を上げる インスタンスタイプ強化、ノード数追加
チューニング作業実施、期待値以上の性能を出す テーブル設定(データ型/カラム圧縮/ソートキー/分散キー) VACUUM処理、パラメータ変更 SQL文見直し マート(結合済みテーブル)作成 インスタンスタイプ、ノード数を減らし期待値付近に着地 コストと性能のバランスが取れるところで構成確定 36
37.
ビッグデータ案件の進め方 37 チューニング 現在の構成でひたすらチューニング 時間 目標性能 現在性能 目標確認 目標確認 目標達成、継続運用 性能 構成を縮小しつつ 費用と性能のバランス調整 構成を変更する ノード追加、スケールアップ お薦めの方法 従来の方法 結果が出るまで時間が掛かる 目標達成の保証もない 追加費用は発生するが 早く性能向上が確認できる
38.
チューニングより構成変更 38 従来型のチューニング作業は掛けた時間と効果が比例しない 構成変更は掛けた金額に比例して性能を上げることができる
先にスケールアップ/アウトで性能を上げておけば、その後で チューニングの機会を増やすことができる 60分のクエリ1回調査 vs 5分のクエリ12回調査
39.
カスタマーストーリー(ビッグデータ分析環境構築サービス) 39 データ分析基盤として、社内外のデータをセキュアな VPC上のDWHに集約し、各種BIツールで分析・閲覧。 業務データ 基幹DB POS 分析用 Desktop 閲覧用ブラウザ 企業 分析者 閲覧者 DWH (Redshift) ストレージ (S3) EAI 閲覧用画面生成 (EC2)クラウド オープンデータ ストレージ (S3) 業務 データ 集計 データ オープン データ 分析用
BIツール 分析者 Controller (EC2) 提携企業
40.
Redshift Try! 40 プログラム適用対象: これからAmazon
Redshiftの導入を検討しているメンバーズご 契約企業、または新たにメンバーズをご契約頂ける企業 対象社数: 先着10社 ご支援内容: Amazon Redshiftに関するコンサルティングの無償提供 (オンライン最大20時間のご支援) Amazon Redshiftのご利用費用一部負担 ( 2ヶ月間、$1,000/月をクラスメソッドが負担)
41.
Redshift Try! クラスメソッド メンバーズ
で検索 http://classmethod.jp/news/redshift-try/ Redshift Try!
42.
ご清聴 ありがとうございました
Télécharger maintenant