MapR と Vertica エンジニアが語る、なぜその組み合わせが最高なのか？ - db tech showcase 大阪 2014 2014/06/19

®
© 2014 MapR Technologies 1
®
© 2014 MapR Technologies
草薙昭彦 (MapR Technologies)
相澤恵奏 (⽇日本HP)
MapR と Vertica エンジニアが語る、
なぜその組み合わせが最⾼高なのか？

®
本⽇日のトピック
•  Vertica: 超⾼高速列列指向データベース
•  Vertica + Hadoop
•  MapR: エンタープライズ Hadoop
•  Vertica on MapR
•  デモ

®
© 2014 MapR Technologies 3© 2014 MapR Technologies ®
Vertica: 超⾼高速列列指向データベース

®
•  分析⽤用 DB ソフトウェアベンダー
•  設⽴立立：2005年年
•  本社：⽶米国マサチューセッツ州
•  Michael Stonebraker が産みの親
Postgres, C-Store の開発者
•  注⽬目ベンチャーとして数々の賞を受賞
•  2011/3/22 HP が買収完了了を発表
•  2012/12/1 HP に統合完了了　
POSTGRES
Object DB
C-store
Column-
oriented DB
1970 1980 2000 2010
技術継承
INGRES
RDBMS
Sybase
SQL Server
Aster Data
Greenplum
Netezza
マイケル・ストーンブレーカー
（Michael Stonebraker)
Vertica
HP
Vertica 概要

®

DWH
アプライアンス
DWHアプライアンス
IBM Netezza
Teradata
Oracle Exadata etc
OLTP 向け
RDBMS
OLTP向けRDBMS
Oracle DB
MySQL
Postgres 　etc
カラム指向型
データベース
ソフトウェア
超⾼高速、低価格、簡単に使える、すぐ使える
■低価格
　　・コモディティーハードウェア
　　・ソフトウェア提供
■列列指向
■超並列列アーキテクチャ
遅い
⾼高い
第三世代の分析⽤用RDBMS

®
Vertica 事例例 (WWで2500社以上）

®
いいね！
http://www.vertica.com/2013/12/12/welcoming-facebook-to-the-growing-family-of-hp-vertica-customers/

®
Vertica + Hadoop

®
競合？ ⇒ 共存
分散分析
SQLコモディティーサーバ
スケールアウト並列列
ビッグデータ
Vertica と Hadoop

®
Social media IT/OT ImagesAudioVideo
Transactional
dataMobile Search engineEmail Texts Documents
SQLや、R⾔言語やC++、Javaで作成した
UserDefineFunction で⾼高速に分析
HDFS Connectorで
データの取り込み
HCatalog を読み込ませて、
SQL を直接実⾏行行
Hadoop コネクタ
MR にて操作
⾮非、半構造化データ含め
とにかく Hadoop にデータ蓄積
とにかくデータを蓄積して、超⾼高速分析は Vertica で！

®
•  性能および拡張性が乏しく、4ヶ⽉月しか分析対象に出来なかった
•  複数かつ複雑な処理理による分析の再実⾏行行、機会損失
•  システムが安定せずデータトラブルにより4⽇日間使⽤用不不能
•  15ヶ⽉月分のクリックストリームデータ、5年年の購買データを
分析し、ページレベルの詳細な分析が可能に
•  ⾮非構造化データは Hadoop 経由で Vertica に格納
•  ODBC 経由の分析ツールを使⽤用
•  MPP アークテクチャーによる拡張性
•  クエリーは置き換える前に⽐比べ50倍以上⾼高速化
•  6ヶ⽉月分データ13TByteが1.4Tbyteに圧縮
課題・⽬目的バックグラウンド
ビジネスベネフィット
•  年年間約3兆円の、PC、プリンターの
オンラインビジネス
•  その、ビジネスを⽀支えるために、
⾼高速な分析ソリューションが必要
HP のオンラインビジネス分析基盤を
Vertica で再構築

®
Vertica が提供するコネクター
コネクターは経由の
アクセスは、なんだか
な・・・・
Hadoop コマンドって
覚えにくい
Map/Reduce
書けないなー
Vertica⽤用のサーバは
あるけど、Hadoop 専
⽤用に別途、買えない
Hadoop 上で
SQL 動かしたい
簡単にデータ連携
したいな
今までの Vertica と Hadoop

®
そうだ！ MapR があるじゃないか！
悩める RDBMS エンジニア
+

®
MapR: エンタープライズ Hadoop

®
ナンバーワン 500 を超える顧客クラウドリーダー
MapR: エンタープライズ Hadoop

®
Hadoop ディストリビューション
Open Source Open Source
ディストリビューション A ディストリビューション C
運⽤用管理理ツール
Open Source
運⽤用管理理ツール
アーキテクチャーの
イノベーション

®
HDFS
(ライトワンス／追記のみ／同時Read/Write不不可)
MapR Distribution for Apache Hadoop
セキュリティ
YARN
Pig
Cascading
Spark
バッチ
Spark
Streaming
Storm*
ストリーミング
HBase
Solr
NoSQL
・検索索
Juju
プロビジョニ
ング・コーディ
ネーション
Savannah*
Mahout
MLLib
機械学習
・グラフ
GraphX
MapReduce
v1 & v2
APACHE HADOOP および OSS エコシステム
実⾏行行エンジンデータガバナンス・オペレーション
ワークフロー
・データ
ガバナンス
Tez*
Accumulo*
Hive
Impala
Shark
Drill*
SQL
Sentry* Oozie ZooKeeperSqoop
Knox* WhirrFalcon*Flume
データ
統合・ア
クセス
HttpFS
Hue
* ディストリビューションに統合／認証予定

®
MapR Distribution for Apache Hadoop
セキュリティ
YARN
Pig
Cascading
Spark
バッチ
Spark
Streaming
Storm*
ストリーミング
HBase
Solr
NoSQL
・検索索
Juju
プロビジョニ
ング・コーディ
ネーション
Savannah*
Mahout
MLLib
機械学習
・グラフ
GraphX
MapReduce
v1 & v2
APACHE HADOOP および OSS エコシステム
実⾏行行エンジンデータガバナンス・オペレーション
ワークフロー
・データ
ガバナンス
Tez*
Accumulo*
Hive
Impala
Shark
Drill*
SQL
Sentry* Oozie ZooKeeperSqoop
Knox* WhirrFalcon*Flume
データ
統合・ア
クセス
HttpFS
Hue
MapR Data Platform
(ランダムRead/Write)
MapR-FS
(POSIX)
MapR-DB
(ハイパフォーマンス NoSQL)
NFS
HDFS
API
HBase
API
JSON
API

データハブ
エンタープライズ
グレード
業務オペレーション
MapRControlSystem
(運⽤用管理理・監視)
CLI
GUI
REST
API

* ディストリビューションに統合／認証予定

®
Hadoop ディストリビューションの⽐比較
ソース: Flux7 Labs Study, 2013年年10⽉月
Read/Write スループットベンチマーク
DFSIO Read スループット DFSIO Write スループット
MB/秒
MB/秒

®
Vertica on MapR

®
MapR Direct NFS Access
MapR ファイルシステム
HDFS インターフェース
MapReduce アプリケーション
Hadoop 専⽤用ツール・専⽤用コネクタ
NFS
インター
フェース
あらゆるデータソース
NFS
インター
フェース
あらゆるデータシンク

®
Vertica と MapR の統合
これまで Vertica on MapR
ノードノードノードノードノードノードノード
HDFS
MapReduceVertica
ノードノード
MapReduce
Vertica
専⽤用コネクタを介したネットワーク越しの転送
NFSインターフェース

®
Vertica on MapR のメリット
•  ハードウェアを共有できる！
–  ハードウェアの利利⽤用率率率を上げて、全体の台数を減らす
–  Hadoop のデータ領領域と Vertica のデータ領領域を融通できる
•  データ転送が⾼高速で楽！
–  NFS 経由なので、Hadoop ということを意識識しない
•  データストレージの信頼性が向上
–  MapR ファイルシステムのレプリケーションで障害復復旧が早い
–  スナップショットやミラーリングが使える

®
利利⽤用例例1: ⼤大量量のデータを⾼高いコスト効率率率で処理理
MapR ファイルシステム　　　　　　　　　　　　　　　　　
Vertica ⽤用データ領領域
Vertica 実⾏行行エンジンMapReduce 実⾏行行エンジン
⾼高速SQLクエリ処理理外部表アクセス柔軟なバッチ処理理
必要な時に素早く Vertica にデータを展開
不不要になったらファイルシステムにアーカイブ
スキーマレスデータ
スキーマデータ

®
利利⽤用例例2: 時間帯による使い分け
Vertica
実⾏行行エンジン
MapReduce
MapReduce ジョブ SQL クエリ
Vertica
MapReduce
昼間
多数のユーザーによるアドホッククエリ
夜間
⽇日締めの⼤大規模バッチ

®
デモ

®
デモ環境
•  アルミアタッシュケース
ポータブル Hadoop クラスタ
（⼿手作り！）
–  Intel core i3 NUC マシン 3台
–  メモリ16GB／SSD 128GB
–  Gigabit Ethernet + Wifi
–  13.3 インチ LCD
–  ワイヤレスキーボード・パッド
–  MapR 3.1.1／Vertica 7.0
•  ご興味ある⽅方、レシピ教えます
–  Do it yourself

®
ls
Hadoop
標準コマンド
デモ
MapR NFS Vertica on MapR
Vertica
MapReduce
cp mv grep
cat vi diff
rsync
du
find
wc
cd
gzip tar tail
iconv chown

®
おわりに
•  Vertica と MapR は MPP データベースと Hadoop のベストな組
み合わせ
•  柔軟でスケーラブル、変化に強いデータプラットフォームを構
築できます
•  お試し⽤用 VM イメージ（Sandbox）をダウンロードできます
–  Vertica Marketplace
https://vertica.hpwsportal.com/#/Product/%7B%22productId%22%3A
%221029%22%7D/Show

®
Q & A
@mapr_japan maprjapan
sales-jp@mapr.com
お問い合わせはこちらまで
MapR
maprtech
mapr-technologies

MapR と Vertica エンジニアが語る、なぜその組み合わせが最高なのか？ - db tech showcase 大阪 2014 2014/06/19

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à MapR と Vertica エンジニアが語る、なぜその組み合わせが最高なのか？ - db tech showcase 大阪 2014 2014/06/19

Similaire à MapR と Vertica エンジニアが語る、なぜその組み合わせが最高なのか？ - db tech showcase 大阪 2014 2014/06/19 (20)

Plus de MapR Technologies Japan

Plus de MapR Technologies Japan (16)

Dernier

Dernier (9)

MapR と Vertica エンジニアが語る、なぜその組み合わせが最高なのか？ - db tech showcase 大阪 2014 2014/06/19