Contenu connexe
Similaire à [C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa (20)
Plus de Insight Technology, Inc. (20)
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
- 1. db tech showcase 2013 Tokyo
配布版
正確でスピーディーな決断を促す、
日立の高速データアクセス基盤
~性能検証事例と活用効果~
2013/11/15
株式会社 日立製作所 情報・通信システム社
ITプラットフォーム事業本部 ビッグデータソリューション部
石川 太一
© Hitachi, Ltd. 2013. All rights reserved.
- 4. 1-1 ビッグデータ時代に求められるIT基盤
取り扱うデータ処理要件に応じて、適材適所の
ソリューションを選択し、課題を解決したい。
ノンストップDB
可用性を高めます
現実世界
事務所
工場
店舗
Hitachi Advanced Data Binder
プラットフォーム *1
/ ORACLE
トランザクション情報
基幹系
グリッドバッチ
マーケティング
経営/業務
情報系
調達 DB
製造 DB
販売 DB
:
DB
素早くフィード
バックします
マートレスで
データを活用
できます
高速データアクセス基盤
加工・収集
ETL
分析・活用
セントラル
DataStage
DWH
ORACLE RAC
on FLASH
基幹バッチ
ストリームデータ処理基盤
本日のテーマ
バッチ時間を
短縮します
消費者
履歴情報
報告書
センサー
SNS
収集
DB
大量データを
一次処理できます
インメモリデータグリッド
集計
DB
蓄積
非構造データを
素早く集計します
かんたんHadoop
*1: 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実
証・評価」(中心研究者:東大喜連川教授)の成果を利用。
履歴DB
事実データと、
トレーサビリティの確保
効率よく
蓄積できます
時系列データ処理基盤
© Hitachi, Ltd. 2013. All rights reserved.
3
- 18. 3-7 マートレス化を実現する、高速データアクセス基盤
業界標準ベンチマーク「TPC-H@100TB」で世界初登録※1
日立の高速データアクセス基盤
Hitachi Advanced Data Binderプラットフォーム※2
□多種多様なデータ結合処理(JOIN)を高速化
□大量データのローディングを高速化
高速検索
契約
多種データ
売上
SNS
収集/加工
受発注
高速データアクセス基盤
Hitachi Advanced Data Binder プラットフォーム
超高速データベースエンジン
Hitachi Advanced Data Binder
(RDBMS) ※3
データ
ソース
BI
ツール
JDBC/ODBC/CLI
(SQLインタフェース)
※4 ※5 ※6 ※7
日立サーバ
業務
アプリケーション
センサー
稼働ログ
価値を創造
大量データ
日立ストレージ
具体的に、どのような価値を生み出す基盤なのか?
※1 TPC-H - Top Ten Performance Results Version 2 Results(http://www.tpc.org/tpch/results/tpch_perf_results.asp)
※2 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」
(中心研究者:喜連川 東大教授/国立情報学研究所所長)の成果を利用。
※3 RDBMS : Relational DataBase Management System ※4 JDBC : Java Database Connectivity ※5 ODBC : Open Database Connectivity
© Hitachi, Ltd. 2013. All rights reserved.
※6 CLI : Call Level Interface ※6 SQL : Structured Query Language
17
- 21. 4-2 マートレス化で、既存業務を改善 - 流通業
40分かかっていた分析処理を、22秒に短縮。
165種のデータマートを、6個に削減し、
※26億件の売り上げ明細から
得意先を分析するSQL処理
13.5時間かかっていたバッチ処理を、7.5分に短縮。
□バッチ突き抜けを解消し、素早くレポートを作成。タイムリーな意思決定が可能に。
□組織や商材の変化にも柔軟に対応できる。
□新しいデータを、新しい視点で掛け合わせ、試行錯誤で仮説検証を繰り返せる。
基幹システム
POSシステム
CRMシステム
セントラル
DWH
目的別
データマート
データ分析
目的別データマート
を削減し、
顧客
データ
セントラルDWHを
ダイレクトに分析
新しい視点での仮説検証で得られた効果とは?
© Hitachi, Ltd. 2013. All rights reserved.
20
- 22. 4-3 業務改善例 - 流通業
□「日別」集計から「時間帯」別集計へ。
品切れや余剰の防止と、食品の作る/見切るタイミングを調整。
□顧客の併売分析の実現(バスケット、買い回り)
ターゲット商品を決めて、顧客の併売分析をすることで、セット商品化、
プロモーション、店舗改善などに活かす。
日別から「時間帯別」集計へ
商品A
商品A
商品A
単価
単価
10月 単価
販売個数
10月
販売個数
10月1日
1日 販売個数
1日
在庫
在庫
在庫
単価
単価
10月 単価
販売個数
10月
販売個数
10月2日
2日 販売個数
2日
在庫
在庫
在庫
9時
9時
9時
10時
10時
10時
品切れ
品切れ
品切れ
0
・・・
・・・
・・・
顧客の併売分析の実現
20時
20時
20時
時間軸で見える
00
項目が見える
項目が見える
項目が見える
余剰
5
55
レシート 059
顧客番号 A03
レシート 123
顧客番号 A03
x社ランドセル
…
y社羊羹
…
同一顧客の
複数レシートを
組み合わせて判断
ランドセルと一緒に購買されているものは?
(祖父・祖母へのお返しもあるのか?)
データマートレス化により、
開発、維持コストを削減しつつ、品ぞろえ、対面サービスを改善
© Hitachi, Ltd. 2013. All rights reserved.
21
- 25. 5-1 販売管理モデル -性能検証事例
検証協力:株式会社 DTS
投影のみ
検証環境と、測定シナリオ
Hitachi Advanced Data Binder
プラットフォーム
□システム構成
・サーバ
BladeSymphony BS520
(16コア、メモリ96GB)
・ストレージ
Hitachi Unified Storage 130
・データベース
Hitachi Advanced Data Binder V1
CSV
①
□データモデル
□性能検証のシナリオ
・販売管理モデル
テーブル名
分類
②
データ件数
レコードサイズ
売上情報
TRN
66億件
150バイト
商品分類マスタ
MST
7件
52バイト
商品マスタ
MST
528件
86バイト
担当者マスタ
MST
12件
111バイト
店舗マスタ
MST
3575件
426バイト
エリアマスタ
MST
4件
103バイト
センターマスタ
MST
3件
①データロード時間
66億件(8年分相当)のデータを
一括ロードする時間を計測。
54バイト
②データ検索時間
66億件(8年分相当/約1TB)のデータ
から100万件(1日分)のデータを検索
する時間を計測。
© Hitachi, Ltd. 2013. All rights reserved.
24
- 26. 5-2 性能検証結果 - ①データロード時間
投影のみ
Hitachi Advanced Data Binder
プラットフォーム
検証結果
CSV
①
②
①データロード時間
66億件(8年分相当/約1TB)のデータを一括ロードする時間。
合計
取込処理時間
インデックス作成時間
スクリーンをご覧ください。
4時間9分48秒 2時間24分20秒
1時間45分28秒
数年分相当の大量データでも、夜間運用で十分処理可能
© Hitachi, Ltd. 2013. All rights reserved.
25
- 27. 5-3 性能検証結果 - ②データ検索時間
投影のみ
Hitachi Advanced Data Binder
プラットフォーム
検証結果
CSV
①
②データ検索時間
②
66億件(8年分相当/約1TB)のデータベースに格納された7つの表を、
結合(JOIN)、グルーピング(GROUP BY)、集計(SUM)、ソート(ORDER BY)
した結果、100万件(1日分)のデータを抽出する時間。
4.7
平均 スクリーンをご覧ください。
秒
STAFF_ID
売上データ
地区マスタ
センターマスタ
SHOP_ID
担当者マスタ
店舗マスタ
AREA_ID
CENTER_ID
AREA_ID
RELAY_ID
SHOP_ID
商品区分マスタ
商品マスタ
STAFF_ID
CLASS_ID
GOODS_ID
GOODS_ID
CLASS_ID
大量データからの部分抽出、集計処理を高速化し、
データマートレス化を実現できます
© Hitachi, Ltd. 2013. All rights reserved.
26
- 30. 5-6 大量なI/Oを発行 - デモンストレーション
投影のみ
デモンストレーションでご確認ください。
© Hitachi, Ltd. 2013. All rights reserved.
29
- 32. 5-8 Hitachi Advanced Data Binder プラットフォーム
※1
超高速データベースエンジンと、事前検証済みのサーバ、
およびストレージとを組み合わせたベストプラクティスモデル
販売開始:2013年10月30日
出荷開始:2013年12月末日(予定)
※2013年10月現在の仕様となります。製品の仕様は予告無く変更される場合がございます。
モデル名
エントリーモデル
スタンダードモデル
ユーザデータ容量
3.3 TB
9.0 TB
18.0 TB
CPUコア
6コア
8コア
20コア
メモリー
基本構成
デスクサイドモデル
96GB
96GB
192GB
ユーザデータ容量の拡張
不可
運用管理機能
なし
価格(サポート別)
1,050万円
(税抜1,000万円)
可能(オプション)
あり
(統合システム運用管理JP1を同梱)
個別見積もり
※1 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」
(中心研究者:喜連川 東大教授/国立情報学研究所所長)の成果を利用。
© Hitachi, Ltd. 2013. All rights reserved.
31