Contenu connexe Similaire à ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは (20) Plus de Kimihiko Kitase (20) ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは2. 2
Hortonworks 会社概要
創⽴ 2011年 Yahoo!のApache Hadoop
オリジナルチームのメンバー24 ⼈のエンジニアが設⽴
役員 CEO: ロブ・バーデン、COO:スコット・デイビッドソン
オープンソースソフトウェアへ100%コミット
Apache Hadoop プロジェクトへの貢献世界⼀
2011年 創業、マイクロソフト社 (Azure HDInsight)と提携
2014年 9⽉ ⽇本法⼈ホートンワークスジャパン株式会社設⽴
12⽉ NASDAQ上場(NASDAQ: HDP)
2015年 創業以来最速で売上$100Mを達成
Apache NiFiのOnyara社買収し、HDFを市場投⼊
2016年 Billingが$270M越す、HDC for AWSを市場投⼊
2016年 DellEMC社と提携
2017年 6⽉ 主⼒製品 新版HDP 2.6、HDF 3.0を市場投⼊
6⽉ IBM社と提携
9⽉ 新製品・サービス HCPとDPSを市場投⼊
会社概要 実績
次世代データプラットフォームのデファクトスタンダードを提供する
オープンソースソフトウェア企業の世界的リーダー
受注実績 $ 270M (前年同期⽐
+62.7%)
売上実績 $ 184.5M(前年同期⽐
+51.4%)
3Q17/3Q16 Subscription Revenue Growth:
64% YoY
2016年度
$ 13.1 $ 18.1 $ 20.9 $ 25.6 $ 27.6 $ 31.0 $ 32.5 $ 35.6
$ 42.1 $ 45.8
$ 53.2
$ 9.2
$ 11.9
$ 11.3
$ 11.9
$ 13.7
$ 12.6
$ 15.1
$ 16.4
$ 13.9
$ 16.0
$ 15.8
Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3
2015 2016 2017
3. 3
14:55 [Room 2]
IBM Cloud DBaaS の概要と事例紹介
野間 愛⼀郎 : IBM, Cloud Software & Analytics
15:45 [Room 2]
DSXでデータ・サイエンス
河⽥ ⼤ : IBM, アナリティクス・テクニカル・セールス
14:30 [Room 1]
ライトプランで利⽤可能な分析基盤「Analytics Engine」とは
北瀬 公彦 : ホートンワークスジャパン, マーケティングディレクター
本⽇のデータ関連サービスのセッション紹介
4. 4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
⽣成されるデータの急増
出典: IDC's Data Age 2025 study, sponsored by Seagate
https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf
5. 5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
データの⽣成場所が個⼈から企業へ
出典: IDC's Data Age 2025 study, sponsored by Seagate
https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf
6. 6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
リアルタイムデータの増加
出典: IDC's Data Age 2025 study, sponsored by Seagate
https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf
7. 7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
AIシステムにより利⽤されるデータの増加
出典: IDC's Data Age 2025 study, sponsored by Seagate
https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf
10. 10 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Category OSS AWS Azure Google IBM
ETL NiFi, Sqoop, Flume, etc Amazon Data Pipeline Azure Data Factory
Azure Data Catalog
Cloud DataPrep Data Connect
メッセージング
システム
Kafka Amazon Kinesis Azure Event Hub Cloud Pub/Sub IBM Message Hub
ビッグデータ
分散処理
Hadoop
Spark
Amazon EMR Azure HDInsight Cloud DataProc
Cloud Dataflow
IBM Analytics Engine
(IAE)
リアルタイム
データ処理
Storm Amazon Kinesis Azure Stream Analytics Cloud Dataflow Streaming Analytics
NoSQL MongoDB, CouchDB,
HBase, Cassandra, etc
Amazon DynamoDB Azure CosmosDB
Azure Time Series
Insights
Cloud Datastore
Cloud BigTable
IBM Cloudant
データウェアハウス Hive / Druid Amazon Redshift Azure SQL
Datawarehouse
BigQuery IBM Db2 Warehouse
on Cloud
クエリエンジン Hive, Impala, Presto Amazon Athena Azure Data Lake
Analytics
BigQuery BigInsights for Apache
Hadoop (Big SQL)
BI Superset, etc Amazon QuickSight PowerBI Google Data Studio Cognossなど、
UnmanagedなBI製品を
利用
データサイエンス Zeppelin
Jupyter Notebook
Amazon Machine
Learning
Azure Machine
Learning
Cloud DataLab IBM Data Science
Experience
マシーンラーニング Amazon Machine
Learning
Azure Machine
Learning
Cloud Machine
Learning Services
IBM Watson Machine
Learning
参考: https://ilyas-it83.github.io/CloudComparer/
クラウドサービスの紹介
ビッグデータ・アナリティクス
注意:
カバーできていない他のOSS、クラウドサービスもありますが、
作成者の視点により主要サービスのみカバーしています。
11. 11 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
ストリーム
データ転送
分散
ファイル
システム
データ
ウェアハウス
Business
Intelligence
分散処理 データ
サイエンス
バルク
データ転送
アドホック
クエリー
マシン
ラーニング
DB
DB
NoSQL
Sensor
Sensor
収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース
ビッグデータ分析のための
データパイプライン
リアルタイム
処理
12. 12 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
NiFi, Kafka
HDFS Hive / Druid
Superset
Hadoop /
Spark ZeppelinSqoop
Hive QL / LLAP
Storm, Spark
Streaming
Spark MLlibな
どの機械学習
ライブラリを
使用して開発
DB
DB
Sensor
Sensor
収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース
ストリームデータ転送
バルクデータ転送
ビッグデータ関連OSSの紹介
OSS ビッグデータ・アナリティクス
注意:
カバーできていない他のOSSもありますが、
作成者の視点により主要サービスのみカバーしています。
Mongo DB
HBase,
Cassandra
13. 13 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
ここの話
収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース
IBM
Message Hub
IBM
Object Storage
IBM Db2
Warehouse
on Cloud
Cognossなど、
Unmanagedな
BI製品を利用
IBM Data
Science
Experience
IBM
Data Connect
それぞれの
サービスに
付属
IBM Watson
Machine
Learning
DB
DB
IBM
Cloudant
IBM Analytics
Engine (IAE)
Sensor
Sensor
ストリームデータ転送
バルクデータ転送
クラウドサービスの紹介
IBM ビッグデータ・アナリティクス
注意:
カバーできていないサービスもありますが、
作成者の視点により主要サービスのみカバーしています。
IBM
Streaming
Analytics
14. 14
IBM Analytics Engine とは
à マネージド Hadoop / Spark サービス
– Hortonworks Data Platform (HDP) ベースに開発され、2017年11⽉にGA)
à IBM Open Platform for Hadoop (IOP) や
BigInsights for Apache Hadoop の後継
– IOPはすでにService Retired
– BigInsights for Apache Hadoop もまもなくService Retired
• Service Retirement Announce Date: November 7, 2017
• End of Marketing Date: December 7, 2017
• End of Support Date: November 7, 2018
Source: https://www.ibm.com/blogs/bluemix/2017/11/deprecation-of-biginsights-for-apache-hadoop-basic-plan/
18. 18 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
データサイエンス / 機械学習 テクノロジースタック
DSX x IAE による
Find Share Collaborate
common data, pipelines and projects
IBM Data Science Experience
DATA SYSTEMSPlatforms
On-Premise Private Cloud Cloud
Security
Operations
Governance
& Integration
°1 ° ° ° ° ° ° °
° ° ° ° ° ° ° ° °
° ° ° ° ° ° ° ° N
YARN : Data Operating System
Script
Pig
SQL
Hive
NoSQL
HBase
Stream
Strom
In-Mem
Spark
HDFS
(Hadoop Distributed File System)
Others
BigSQL
Clickstream
Web & Social
Geolocation
Sensor
& Machine
Server
Logs
Unstructured
Data Sources
Apache Spark 内蔵
IBM Analytics Engine
(Apache Hadoop /
Spark 占有環境)
Powered by Hortonworks 拡
張
可
能
19. 19
デモスクリプト
à IBM Analytics Engineでクラスタを作成
à 作成されたクラスタの確認
à IBM Data Science Experienceで、プロジェクトの作成
à Object Storage (S3)でバケットの作成
à Sparkサービスの作成
à IAEとDSXの連携
à Jupyter NotebookでNotebookの作成
à サンプルNotebookを実⾏