Contenu connexe
Similaire à A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo
Similaire à A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo (20)
Plus de Insight Technology, Inc.
Plus de Insight Technology, Inc. (20)
A31 切り開けDBエンジニア 〜データ分析基盤へインサイトテクノロジーの1つの答えとは〜 by Koji Shinkubo
- 1. Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Insight Technology, Inc.
新久保 浩二
切り開けDBエンジニア
データ分析基盤へインサイトテクノロジーの1つの答えとは!
- 3. 3Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Vectorwise meets 象
- 5. 5Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
象で夢を見ていた時代
• HDFSは無限のスケーラビリティと
アベイラビリティがあるじゃないか
• HiveはHDFS上でQueryらしき
ものが扱える
• 既存のRDBMSで不可能なことが
可能になるかもしれない
- 6. 6Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
こんな感じで検証してました。
今も現役で検証機として使ってますが
- 7. 7Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
象で現実を知った時代
• HDFSは無限の可能性を秘めて
いるけど。種々の理由でスケールさ
せるのは至難の業。
• HiveはHDFS上でQueryらしき
ものが扱えるけれど。普通に使うに
は遅すぎる。
• 既存のRDBMSを入れ替えるのは
非現実的。ますます分析系DBの
役割は大きくなっている
- 8. 8Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
ちなみに当時の衝撃的な検証結果
DBとして見ると期待値を裏切る
スケーラビリティのなさ(だった)
当時ベンチマーク対象だったRDBMS
に並ぶスピードを出すには100ノード
を超えるクラスタにする必要があるとの
予測(だった)
- 9. 9Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
しかし、膨大なデータは存在するわけで…
切り開け データベースエンジニア
- 10. 10Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
DB屋が見る今の象のイメージ(適材適所)
ERP SCM CRM
Legacy OLTP
ログ、センサーデータ、POSといった、たまり
続けるデータでデータの価値は大きいが、
参照頻度が低いデータはHDFS上がぴっ
たり
- 11. 11
Vectorwise Hadoop Connector
Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Vectorwise Hadoop Connector 3.0
MAP MAP MAP
Reduce Reduce Reduce Reduce Reduce Reduce
Async Parallel Commit
Commit Status
JOB ID & Meta Data
1
2
3
4
5
1
Vectorwiseのメタデータ
を取得すると共に、Map Reduce用のJOBIDを取得
2
HDFS上のファイルをMap
Taskで取得しKey Value変換
3
各カラムごとにReducerを起動
し、VectorwiseのDBブロック
イメージ(カラム指向 & 圧縮)
に変換
4
Reducerは、各プロセスごと
非同期で構成したDBファイル
をVectorwiseに適用
5
Master ReducerはVectorwise
からCommit Statusを取得し、
必要であれば、同期Commitを実行
- 15. 15Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Real Time Analytics on Vectorwise
- 16. 16Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
まだまだ連携したいデータは沢山ある
ERP SCM CRM
Legacy OLTP
- 17. 17Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
Attunity Replicate for Vectorwise
Full Load
Change Data Capture
Control & Monitor
- 21. 21Copyright © 2013 Insight Technology, Inc. All Rights Reserved.
今できる現実
ERP SCM CRM
Legacy OLTP