MapR Streams & MapR コンバージド・データ・プラットフォーム

®
© 2015 MapR Technologies 1
®
© 2015 MapR Technologies
Anil Gadre – SVP, Product Management
Will Ochandarena – Director, Product Management
Nick Amato – Director, Technical Marketing Engineering
2015 年 12 月 10 日

®
本日のトピック
•  ビジネスの必須事項: Data-in-Motion と Data-at-Rest の統合
•  MapR Streams の発表
•  ライブデモ: MapR Streams 実際の動作
•  利用例: イベントストリーミングをビジネスに活用する

®
スピーカー
Steve Wooledge
VP, Product Marketing
Anil Gadre
SVP, Product Management
Will Ochandarena
Director, Product Management
Nick Amato
Director, Technical Marketing

®
データを行動に結びつける
サイクルを加速することで
「即断可能な」ビジネスを実現する
®

®
主要な業種のトップ企業が採用
金融サービス小売・消費財セキュリティ
オンラインサービス・
ソフトウェア
メディア・
エンターテイメント
製造・公益・石油・ガス広告医療通信政府・公共機関
Fortune 10
小売企業

®
© 2015 MapR Technologies 6© 2015 MapR Technologies
®
Data-in-Motion と Data-at-Rest の統合

®
IoT と Data in Motion の台頭
10 億
60 億
500 億
2000年代: モバイルインターネット
2020年: Internet of People および Internet of Things
1990年代: 固定線インターネット
世界全体の接続デバイス
2020年までに、「価値あるデータ」全体の
21% が IoT からもたらされる
- IDC

®
MapR Streams の発表
グローバル Publish/Subscribe イベントストリーミング
Producer
毎秒数十億のメッセージを
トピックに送信
Consumer
すべての Consumer に
即時に高信頼な配送
グローバル
世界全域の地理的に分散
したクラスタを結びつける

®
ビッグデータの成長に伴い新しいアプリを供給することが困難に
データの種類
の増加
データソース
の増加
バッチから
よりリアルタイム
な分析へ
利用アプリケー
ションの増加
•  複数のテクノロジー
•  アプリ開発の難易度の増加
•  いたるところに遅延が発生
•  サイロ化の再来
•  データコピーが急増
•  アプリ保守の難易度も増加
•  運用管理の課題の増加
•  複数のクラスタの費用
ビジネスにおけ
る飛躍的な価
値をどのように
迅速に作り出す
か

®
30年に一度の変化が進行中レガシー
Data-to-Action アプリケーション
ミドルウェア
高価な専用
計算機器・ストレージ
エンタープライズアプリケーション
コモディティハードウェア
RDBMS
バッチ分析
メッセージバス
グローバルイベントストリーミング
ビッグデータ時代
単一ネームスペース
オペレーショナル分析
構造化
データ
半構造化
データ
非構造化
データ

®
処理データ
Batch
Streaming
SQL
MapR Converged Data Platform
問題: データサイロのパッチワークが出現アプリ
カスタマーエクスペリエンスデータアーキテクチャ
最適化
セキュリティ調査・
イベント管理
オペレーショナル
インテリジェンス
マネージドサービス・
カスタムアプリ

®
処理データ
ファイルテーブルドキュメントストリーム
設計ゴール: すべてのアプリ向けの共通データサービス
Batch
Streaming
SQL
アプリ
最適化
イベント管理

®
処理データ
ファイルテーブルドキュメントストリーム
設計ゴール: すべてのアプリ向けの共通データサービス
Batch
Streaming
SQL
MapR コンバージド・データ・プラットフォーム
Hadoop、Spark、NoSQL データベース、SQL、イベントストリーミング、
Web スケールストレージのパワーを備えた統合プラットフォーム
アプリ
最適化
イベント管理

®
MapR コンバージド・データ・プラットフォーム
オープンソースエンジン・ツール商用エンジン・アプリケーション
ユーティリティグレードデータサービス
データ処理
エンタープライズストレージ
MapR-FS MapR-DB MapR Streams
データベースイベントストリーミング
グローバルネームスペース高可用性データ保護自律復旧統合セキュリティリアルタイムマルチテナント
検索・
その他
クラウド・
マネージド
サービス
カスタム
アプリ
統合運用管理・監視

®
Hadoop + エンタープライズストレージ
Hadoop + エンタープライズストレージ + NoSQL
+ インタラクティブ SQL
+ インタラクティブ SQL + イベントストリーミング
2011
2013
2014
2015
トップランク
Hadoop
トップランク
NoSQL
トップランク
SQL
統合に向けたビジョンの着実な実行

®
MapR プラットフォームサービス: オープン API アーキテクチャ
互換性を保証し、ロックインを避ける
MapR-FS
エンタープライズストレージ
MapR-DB
NoSQL データベース
MapR Streams
グローバルイベントストリーミング
HDFS
API
POSIX
NFS
SQL,
Hbase
API
JSON
API
Kafka
API

®
MapR Streams により業界初にして唯一の
統合データプラットフォームを実現
「流れるデータ」と「保存されたデータ」を統合する高スループットのストリーミング
1
2
3
統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ
継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現
グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化

®
イベントが一件ずつ発生しビッグデータが生成される
“time” : “6:01.103”,
“event” : “RETWEET”,
“location” :
“lat” : 40.712784,
“lon” : -74.005941
“time: “5:04.120”,
“severity” : “CRITICAL”,
“msg” : “Service down”
“card_num” : 1234,
“merchant” : ”Apple”,
“amount” : 50

®
バッチ処理の様々な利用例
●  クリックストリーム分析
●  予知保全
●  不正検出
●  クーポン提示
●  リスクモデル
●  カスタマー 360
●  センチメント分析

®
リアルタイム処理は補完的
●  運用管理ダッシュボード
●  障害アラート
●  侵害検知
●  リアルタイム不正検出
●  リアルタイム価格提示
●  プッシュ通知
●  トレンドの提示
●  ニュースフィード

®
データパイプラインの課題
フィルタリング・
集計
アラート加工

®
ストリームはデータの移動をシンプルにする
フィルタリング・
集計
アラート加工
ストリーム
データソースと配信先の間をつなぐ
高信頼の Publish/Subscribe
トランスポート

®
レガシーシステム: メッセージキュー
IBM MQ, TIBCO, RabbitMQ
Ordersフロントエンド
注文処理
注文処理
利用形態/要件
●  システム間の密接でトラン
ザクショナルなやり取り
●  1対1 もしくは少数対少数
●  低いデータレート
●  ミッションクリティカル配送
アプローチ
●  キュー指向デザイン
● 各メッセージは N 個の出力
キューに複製される
● 読み込みによりメッセージが
取り出される
●  スケールアップ、マスター/スレーブ
できないこと
●  高いメッセージレート (>10万/秒)
●  Consumer を遅らせること
●  キューの再生/巻き戻し

®
進化する「ビッグデータ」イベントストリーム: 分散ログ
Kafka, Hydra, DistributedLog
利用形態/要件
●  切り離されたシステムから
転送される高スループット
データ
● 多数→1
● 1→多数
● 異なる速度
アプローチ
●  ログ指向デザイン
● ログファイルにメッセージを
書き込む
● Consumer はメッセージを
個々のベースで引き出す
●  スケールアウト
できないこと
●  グローバルアプリケーション
●  メッセージの永続化
●  分析の統合
(データの移動が必要)
DB_Changes
ストリーミング処理
検索/
EDW
DB

®
MapR: イベントストリームプラットフォームの再検討
●  「ビッグデータ」スケール・パフォーマンス
●  グローバルなアプリケーションとデータ収集
●  マルチテナント・マルチアプリケーション
●  セキュリティ
●  直接分析が可能 (データ移動不要)
●  統合済み: クラスタが立ち並ぶことがない
ストリーミング処理
分析
広告インプレッションアプリケーションログセンサーデータ

®
®
MapR Streams
統合、継続、グローバル

®
MapR Streams:
ビッグデータ向けグローバル Pub-Sub イベントストリーミングシステム
Producer は毎秒数十億のメッセージをス
トリーム内のトピックに送信
すべての Consumer に対する保証された、
即時の配信
世界全域の地理的に分散したクラスタを
結びつける
標準リアルタイム API (Kafka) による
Spark Streaming、Storm、Apex、Flink と
の連携
分析フレームワークからのダイレクトデー
タアクセス (OJAI API)
To
pi
c
ストリーム
トピックProducer Consumer
リモートのサイトとConsumer
Streaming
バッチ分析

®
グローバル
提供される機能
●  数千クラスタ間での任意のトポロジー
●  自動的なループ防止
●  DNS ベースディスカバリー
●  メッセージオフセットと Consumer カーソル
のグローバルな同期
実現されること
●  グローバルなアプリケーションとデータ収集
●  Producer・Consumer のフェールオーバー
●  エッジにおける分析/フィルタリング/集計
●  「不定期の」接続
Producer
Consumer

®
主な差別化ポイント
MapR Streams
統合グローバル
セキュリティ・マルチテナント
ファイル、テーブル、スト
リームのための単一クラス
タ
グローバルなフェールオー
バー機能を備える IoT ス
ケールの「ファブリック」
テナントによるストリームの
所有、トピックとメッセージ
の論理グループ化
認証、アクセス制御、暗号
化に利用される、他のプ
ラットフォームサービスと統
合されたポリシー
データ永続化とバッチ処理
フレームワークのダイレクト
データアクセス

®
®
MapR Streams の動作をご覧ください – デモ
Nick Amato

®
®
イベントストリーミング・処理の利用例
Will Ochandarena

®
全業種 Web 2.0 医療通信
• ETL / データウェアハウス
最適化
• メインフレーム最適化
• アプリケーション・ネット
ワーク監視
• セキュリティ情報・イベン
ト管理
• レコメンデーションエンジ
ン・ターゲティング
• カスタマー 360
• クリックストリーム分析
• ソーシャルメディア分析
• 広告最適化
• スマートホスピタル
• バイトメトリクス
• 患者の生体情報監視
• 不正検出
• アンテナ最適化
• 課金・請求
• 設備監視・予防保全
• スマートメーター分析
主要な業種と利用例
石油・ガス金融サービス小売アドテク
• ポンプ監視・アラート発信
• 地震波トレース識別
• 設備メンテナンス
• 安全性・環境
• セキュリティ
• リアルタイム不正/リスク監視
• トランザクションのモバイル
通知
• リアルタイムサプライ
チェーン最適化
• 在庫管理
• リアルタイムクーポン
• 広告ターゲティング・最適化
• グローバルキャンペーンダッ
シュボード

®
利用例
ストリーム
アプリケーション/インフラ監視
Logs
Metrics
ビジネス上の成果
●  障害やセキュリティ侵入
時のリアルタイム検出と
アラート送信
●  利用量、稼働状況、性能
に関するグローバルダッ
シュボード
MapR Streams 採用の理由
●  アプリ/インフラから ETL・処理
システムに対するリアルタイム
配信
●  システムの性能低下・障害時の
信頼性の高いデータバッファリ
ング
MapR 採用の理由
●  統合プラットフォームがすべてのコ
ンポーネントを結びつける
●  グローバルイベントレプリケーショ
ンにより集中監視が可能に
●  セキュアなマルチテナント機能によ
りクラスタの共有が可能に

®
クレジットカード処理向けデータベース変更キャプチャ
●  購入者に対するリアルタイムモバイル通知で顧客満足度が向
上
●  より多くの不正をリアルタイムで検出
●  データ探索により社員の生産性が向上
●  メインフレーム RDBMS と ETL/処理基盤間の
シームレスでリアルタイムの接続
●  ユーティリティグレードの信頼性によりトランザク
ションの損失を防止
●  統合プラットフォームセキュリティによる認証、アク
セス制御、暗号化の統一
利用例
Transactions
不正検出
Streaming
1

®
医療・金融向けストリーム System of Record
●  データアジリティ - JSON、グラフ、検索の各形式での最新
データの表示
●  HIPAA、PCI への準拠
●  国内のデータ法令の遵守
Records
JSON DB
(MapR-DB)
グラフ DB
(Titan on
MapR-DB)
検索エンジン
(Elastic-Search)
書き込み API
読み出し API
●  ストリームは変更不可能、巻き戻し可能な監査に適した
データ構造
●  Pub-Sub により JSON-DB、グラフ DB、ElasticSearch へ
のリアルタイムのレプリケーションが可能に
●  統合プラットフォームは流れるデータ、保存されたデータ両
方を単一のクラスタ・セキュリティモデルで対応可能
●  災害対策のための選択的で信頼性の高いグローバルレプ
リケーション
EU
利用例

®
アドテクにおけるグローバルな統合分析
… + アジア、欧州
●  広告費とパフォーマンスのための新しいリアルタイム
顧客ダッシュボード
●  グローバルな情報取得までの時間を短縮 - 時間から分単位に
●  災害復旧能力の追加
●  既存のログ転送方式と比較して、よりシンプルでより信頼
性の高いデータ/ETL パイプライン
●  統合プラットフォームは流れるデータ、保存されたデータ
両方を単一のクラスタ・セキュリティモデルで対応可能
●  収集、分析、災害対策を分散して行うための高信頼グ
ローバルレプリケーション
米国1
広告アプリケーション
本社
米国2
利用例

®
IoT データ転送と加工
利用例
●  「モノ」からのデータを収集・加工することで新しい収益
の流れを創出
●  利用者の近くに収集・加工基盤を配置することで低い
応答時間を実現
●  IoT はイベントベースであるため、イベントスト
リーミングアーキテクチャが求められる
●  統合プラットフォームは流れるデータ、保存された
データ両方を単一のクラスタ・セキュリティモデルで
対応可能
●  収集、分析、災害対策を分散して行うための高信
頼グローバルレプリケーショングローバルダッシュボード、アラート、加工
ローカルでの収集、フィルタリング、集計

®
Q&A
MapR Streams により業界初にして唯一の統合データプラットフォームを実現
1
2
3
統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ
継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現
グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化
詳細は www.mapr.com/streams にて

MapR Streams & MapR コンバージド・データ・プラットフォーム

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à MapR Streams & MapR コンバージド・データ・プラットフォーム

Similaire à MapR Streams & MapR コンバージド・データ・プラットフォーム (20)

Plus de MapR Technologies Japan

Plus de MapR Technologies Japan (8)

MapR Streams & MapR コンバージド・データ・プラットフォーム