More Related Content
Similar to C14_ひとつのdbでは夢を現実に変えられない!Human Dreams.Make IT Real by 石川太一 (20)
More from Insight Technology, Inc. (20)
C14_ひとつのdbでは夢を現実に変えられない!Human Dreams.Make IT Real by 石川太一
- 1. 国内最大級のデータベーステクノロジーカンファレンス
db tech showcase 2012
ひとつのデータベースでは
夢を現実に変えられない!
~Human Dreams.Make IT Real.~
2012/10/17
株式会社 日立製作所 情報・通信システム社
ITプラットフォーム事業本部 開発統括本部
ソフトウェア本部 DB設計部
© Hitachi, Ltd. 2012. All rights reserved.
- 3. データベース市場は、もう飽和状態です
スクリーンを
ご覧ください
AP/DB サーバ 国内市場予測 (IDC Japan 2011 Reportから)
© Hitachi, Ltd. 2012. All rights reserved. 2
- 4. デファクトのデータベースと言えば?
ORACLE、SQLServerが圧倒的シェア
スクリーンを 国内RDBMSベンダー別マーケット・シェア
(ソフトウェア売上総額)
ご覧ください 出展:ガートナー 2011/3
http://biz.bcnranking.jp/map/database/
この状況下で、国産DBベンダが頑張る意義とは?
© Hitachi, Ltd. 2012. All rights reserved. 3
- 5. でもね。企業ITシステムの悩みは尽きない。。。
ひとつのデータベースだけで、解決できますか?
コストが高い
信頼性が低い バッチ時間を
短縮したい
現実世界 基幹系 情報系 経営者
トランザクション情報
調達
事務所 DB
製造 加工・収集 マート
DB セントラル
工場 販売 ETL マート 分析
DB
人事 DWH マート
DB
店舗 素早くフィード
バックを得たい :
DB
マートレスで
検索 速く安く分析
マーケティング したい
消費者 履歴情報
報告書
収集 集計 蓄積 履歴DB トレーサビリティの確保
センサー DB DB
履歴情報 SNS
大量データを 非構造データを 効率よく
一次処理したい 素早く集計したい 蓄積したい
© Hitachi, Ltd. 2012. All rights reserved. 4
- 6. 日立が提供できる価値
実業を伴うデータベースベンダだからできること。
ノンストップDB グリッドバッチ
ITコストを抑え
信頼性を高めます
バッチ時間を
短縮します
現実世界 基幹系 情報系 経営者
トランザクション情報
調達
事務所 DB
製造 加工・収集 マート
DB セントラル
工場 販売 ETL マート 分析
DB
人事 DWH マート
DB
店舗 素早くフィード
バックします :
DB
ストリームデータ処理基盤 マートレスで
検索 速く安く分析
マーケティング できます
履歴情報 高速データアクセス基盤
消費者 報告書 Hitachi Advanced Data Binder
収集 集計 蓄積 履歴DB トレーサビリティの確保
センサー DB DB
履歴情報 SNS
大量データを 非構造データを 効率よく
一次処理できます 素早く集計します 蓄積できます
インメモリデータグリッド Hadoop 時系列データ処理基盤
© Hitachi, Ltd. 2012. All rights reserved. 5
- 7. 社会インフラに求められてきたのは?
公共システム、病院
証券システム 流通システム
証券取引件数 強固な
約数万件/s セキュリティ 受注件数
約数10万件/day
テレコム
社会インフラ = 「安心」
交通システム
製造業
携帯電話契約件数 新幹線利用者数
数千万件 約数100万人/day
24時間連続操業
© Hitachi, Ltd. 2012. All rights reserved. 6
- 8. 「安心」を提供する、「ITの責任」とは?
公共システム、病院
証券システム 流通システム
性能 データの保護
使いやすい
テレコム
「安心」=「ITの責任」
交通システム
製造業
動き続ける
安全、迅速復旧
長期保守
© Hitachi, Ltd. 2012. All rights reserved. 7
- 9. だから、パートナー満足度「No.1」
国産DBだから、その「責任」を果たすことができます。
特に「技術支援」の項目
で高い評価を頂きました。
日経コンピュータ 2012年2月2日号
第14回パートナー満足度調査のデータベースソフト部門で、
HiRDBが第1位に選ばれました。
http://itpro.nikkeibp.co.jp/article/COLUMN/20120613/402264/?ST=ittrend&mkjb&P=2
スクリーンを
ご覧ください
© Hitachi, Ltd. 2012. All rights reserved. 8
- 11. ITシステム開発のはじまり “1960年代”
1960 年代 日本で始めてのオンラインシステム
座席予約システム「MARS105」
スクリーンを
ご覧ください
日本初の本格的なオンラインリアルタイムシステム
(写真は「MARS101」※)
※引用元:日立評論 (2009年7月号)
14年かけて、
半日⇒3秒にした。
「顧客とともに発展した,情報社会基盤への貢献Tソリューションの系譜」
http://www.hitachihyoron.com/pioneers/pdf/pioneers_14.pdf
NHKスペシャル(2004年放映)
プロジェクトX 挑戦者たち 第VIII期 100万座席への苦闘
~みどりの窓口・世界初鉄道システム~
© Hitachi, Ltd. 2012. All rights reserved. 10
- 12. メインフレームビジネスの確立 “1970年代”
1974 年 ネットワーク構造型データベースPDMと、
階層構造型データベースADM
1977 年 金融証券向け
オンラインコントロールプログラム
「TMS-4V」
スクリーンを
ご覧ください
© Hitachi, Ltd. 2012. All rights reserved. 11
- 13. メインフレーム全盛期 “1980年代”
1986 年 大規模システム向け
構造型データベース「XDM/SD」
1989 年 大規模システム向け
リレショーナルデータベース「XDM/RD」
スクリーンを
ご覧ください
引用元:日本のコンピュータ博物館「日立のDB/DCシステム」
http://museum.ipsj.or.jp/computer/os/hitachi/0019.html
© Hitachi, Ltd. 2012. All rights reserved. 12
- 15. オープンミドルビジネス確立 “1990年代”
1994 年 リレーショナルデータベース
HiRDB Version 1
シェアドナッシング型の
並列RDBMSとして国産初
© Hitachi, Ltd. 2012. All rights reserved. 14
- 16. インターネットの時代 “1990年代後半”
1999 年 並列検索機能を備えた多次元データベース
Cosmicube
地域
商品
販売額
Cosmicube
期間
© Hitachi, Ltd. 2012. All rights reserved. 15
- 17. ユビキタス社会の到来 “2000年代”
2005 年 組み込みデータベースEntier
年間出荷台数170万台突破へ。※2011年度
Entierは、iOSやAndroidに搭載できる
ライブラリ形式のRDBです。
© Hitachi, Ltd. 2012. All rights reserved. 16
- 18. クラウドの時代の幕開け “2000年代後半”
2008 年 ストリームデータ処理基盤
「uCosminexus Stream Data Platform」
①事前に問合せ フィルタリング
登録 集計・分析シナリオ 傾向・パターン分析
(CQLで記述) 相関分析
②データ入力
時系列データ 集計・分析結果
③メモリ上で
リアルタイム処理 uCosminexus
Stream Data Platform
2011年2月22日付弊社ニュースリリース
「東京証券取引所の指数高速配信サービスが開始
~ 世界最高水準、TOPIXをミリ秒レベルで配信 ~」
http://www.hitachi.co.jp/New/cnews/month/2011/02/0222.html
© Hitachi, Ltd. 2012. All rights reserved. 17
- 19. クラウドの時代の発展 “2010年代前半”
2010 年 バッチジョブ分散実行システム
「uCosminexus Grid Processing Server」
バッチ処理 バッチジョブ
ジョブスケジューラ JP1/AJS3
の並列実行を制御
DB
uCosminexus Grid Processing Server
HiRDB
ジョブ
共用ファイル ・ ・ パ ・
・・ ・・ ・・
システム ー
既存のバッチ処理 フ テ
ァ ィ
プログラムを書き直さず データ
イ
ジョブ シ
ョ
に並列処理させる! ル ニ
ン
シ ジョブ グ
ス (分
データ分割 テ 割
ム ジョブ )表
ジョブ
クラスタシステム向け uCosminexus Batch Job 基幹系バッチ業務を
Hitachi Striping File System Execution Server オープンシステムで実行
共有ファイルシステム
© Hitachi, Ltd. 2012. All rights reserved. 18
- 20. クラウドビジネスの確立 “2010年代前半”
2011 年 インメモリ型分散KVS
「uCosminexus Elastic Application Data Store」
証券取引 為替取引 チケット予約 メール配信 稼働収集
put get
③透過的アクセス ①KVS I/F 物理メモリを仮想的に統合
Key Value
物理メモリ
②ノード増減容易
②メモリ間レプリケーション(多重化)
③データ分散配置(ハッシュ/指定) (高拡張性)
ライト リード uCosminexus Elastic Application Data Store
CEP RDB ファイル 既存/他システム
© Hitachi, Ltd. 2012. All rights reserved. 19
- 21. 時代はビックデータへ “2012年 現在”
2012 年 高速データアクセス基盤
「Hitachi Advanced Data Binder」
大量データの超高速検索を実現する
全く新しいデータベース技術
従来比100倍以上の性能向上
内閣府が創設した最先端研究開発支援プログラムにおいて、国立大学法人東京大学と
共同で推進している「最高速データベースエンジン※(略)」の技術開発結果を製品化
© Hitachi, Ltd. 2012. All rights reserved. 20
- 22. 最先端研究開発支援プログラムって何?
URL:http://first-pg.jp/about-us/about-30.html
スクリーンを
ご覧ください
内閣府が創設した、日本の国際的競争力と
底力の強化を図るための国家プロジェクト!
© Hitachi, Ltd. 2012. All rights reserved. 21
- 25. 「ビッグデータ」になると困ること?
技術的に解決が困難な領域に挑む!
OLTP(1件処理)
高
試行錯誤を伴う検索
(ドリルダウン分析、仮説検証業務など)
検索頻度
よりリアルタイムに、
より詳細に!
インメモリでは対応困難!
並列分散ではコスト大!
DWH(全件集計処理)
低
少 検索件数 多
© Hitachi, Ltd. 2012. All rights reserved. 24
- 26. 未知の領域に挑戦。その技術的な課題とは?
従来技術の限界
従来型RDBMSでは
業務 業務
当然、EBオーダの
データを全てメモリ
展開できるわけがない
汎用RDBMS 並列RDBMS
ディスク入出力が だからサーバ並列度
性能ボトルネック を高めて高速化しよう
になりやすい とすると???
© Hitachi, Ltd. 2012. All rights reserved. 25
- 27. 複雑に考えると、そこに落とし穴が!
どうだ!100並列 SQL
SQL
SQL
SQL SQL
SQL SQL
SQL SQL SQL
SQL SQL SQL
SQL SQL SQL
SQL SQL SQL JOB SQL
SQL SQL SQL
SQL SQL SQL
SQL SQL SQL
SQL SQL SQL
SQL SQL
SQL SQL
SQL SQL
SQL
SQL
SQL
「複雑な仕掛け」 = 「かっこいい」
たくさんの問題を抱え込む
© Hitachi, Ltd. 2012. All rights reserved. 26
- 28. 問題は「シンプル」に解決する。これが鉄則
じゃあどうやって?
今までネックになっていた、“順序”実行によるI/O待ち時間を
“非順序”実行で徹底的に排除する。という発想。
従来のDBMS(順序型) 非順序型DBMS
従来型 超高速
データベースエンジン 決定的な データベースエンジン 非決定的な
処理順序 処理順序
時間 時間
超大量
同期入出力 非同期入出力
発行
発行
「非順序型実行原理」
東京大学と共同開発した国産技術を、日立が製品化
「Hitachi Advanced Data Binder」
超高速データベースエンジンには内閣府が創設した最先端研究開発支援プログラムで採択された「超巨大データベース時代に向けた最高速データベースエンジン
の開発(略)」(東大、日立)で技術開発された成果が反映されています
© Hitachi, Ltd. 2012. All rights reserved. 27
- 29. 非順序型実行原理って、どれだけ速いの?
順序型 DBMS 非順序型 「Hitachi Advanced Data Binder」
IOPS ※ 1秒あたりのI/O回数。
約900秒 9秒
約100倍の高速化
HDDへのI/O履歴
低密度I/O 高密度I/O
© Hitachi, Ltd. 2012. All rights reserved. 28
- 30. どんな課題を解決できるの? ~販売/在庫分析の事例~
課題
POSデータ
いままで 業務面 マスタデータ 共通加工処理 システム面
分析軸の データマート作成に
セントラルDWH
追加が困難 時間がかかる
データマート データマート データマート データマート
POS:Point Of Sales
DWH:Data Ware House
解決策
POSデータ
共通加工処理
これから
マスタデータ
Hitachi Advanced Data Binder プラットフォーム
業務面 分析軸追加/ データマートレスで システム面
オンデマンド検索が可能 運用コスト削減
数10億件のデータ量に対して107 倍の高速化
(13.5時間⇒7.5 分)
© Hitachi, Ltd. 2012. All rights reserved. 29
- 31. 先週のITProExpoで、「AWARD大賞」を受賞
■大賞
[日立製作所] Hitachi Advanced Data Binder プラットフォーム
BIアプライアンス
■優秀賞
[日本マイクロソフト] Windows Server 2012
[富士通] STYLISTIC Q702/F
[ジャストシステム] UnitBase
[NTTデータ] フルオープン仮想化基盤構築ソリューション
© Hitachi, Ltd. 2012. All rights reserved. 30
- 32. 非順序実行原理で
大量データの超高速検索を実現する
「Hitachi Advanced Data Binder」
デモンストレーション公開中!
内閣府が創設した最先端研究開発支援プログラムにおいて、国立大学法人東京大学と
共同で推進している「最高速データベースエンジン※(略)」の技術開発結果を製品化
© Hitachi, Ltd. 2012. All rights reserved. 31
- 33. 私たち、日立だからできること
メインフレームで稼動する基幹システムから、
組み込みシステムで実装するコンシューマ機器まで、
自製にこだわりぬいたデータベースを提供し、
お客様の夢を現実に変えています。
ビックデータ ビックデータ利活用データベース
× インメモリデータグリッド
クラウド ストリームデータ処理基盤
グリッドバッチ 組み込み
高速データアクセス基盤 データベース
メインフレーム
データベース オープン
オープン データベース
XDM/RD
XDM/SD
TMS/4V
ADM
PDM
レガシー
バックエンド フロントエンド
© Hitachi, Ltd. 2012. All rights reserved. 32
- 35. 日本HP様とのDBソリューション共同開発
HPサーバ、ストレージと組み合わせた
ノンストップDBソリューションを提供開始
□ DBのオンライン再編成ソリューション
性能を維持しつつ24時間ノンストップ運用を実現
HP P9500ディスクアレイ(BusinessCopy)×HiRDB
□ DBサーバのHAクラスタ・ソリューション
コストを抑えた縮退なしの系切り替え構成を実現
Superdome 2(iCAP/GiCAP)×HP Serviceguard×HiRDB
「IT Transformation Center」で技術検証し
実機デモンストレーション公開中。
詳細はこちら:http://h50146.www5.hp.com/products/servers/ittc/#02
© Hitachi, Ltd. 2012. All rights reserved. 34
- 36. DBサーバのオンライン再編成ソリューション
性能を維持しつつ24時間ノンストップ運用を実現
DBの再編成やバッチなど、ストレージI/O負荷の高い処理は、業務を停止して実施するのが
概要 一般的です。HP P9500ディスクアレイのBusinessCopy機能とHiRDBのオンライン再編成
機能との連携で、オンライン性能に影響を与えることなく再編成やバッチ処理を実施できます。
DBの保守や、バッチ処理のために、 HP P9500×HiRDBでの強み
夜間停止していたオンライン業務を
□ オンラインを止めずにDB再編成可能
24時間継続できるようになる! □ 再編成中の性能低下なし
05:00 02:00 05:00
▽ ▽ 時間の流れ
▽
HP P9500 作業領域
ディスクアレイ
マスタ
ボリューム
更新ログ 更新ログ
レプリカ
ボリューム
P9500(BusinessCopy機能) ペア設定 DB静止化 DB再編成 差分反映 ペア再設定
HiRDB(オンライン再編性機能) ペア切離 アクセス切戻
アクセス切替
© Hitachi, Ltd. 2012. All rights reserved. 35
- 37. DBサーバのHAクラスタ・ソリューション
コストを抑えた縮退なしの系切り替え構成を実現
HP Serviceguardとの組合せで、数秒オーダで系を切り替えることができます。
概要 系切り替えと同時にSuperdome 2のiCAP/GiCAPでCPU利用権を動的に
移動できるので、追加投資なしでCPUを増強でき、性能縮退も防げます。
Superdome 2×HiRDBでの強み
□ 数秒オーダで系を切り替え可能
□ 系切り替え中の全面ダウン期間ゼロ
障害 □ 系切り替え後の性能縮退なし
1号機 2号機 3号機 □ 予備CPU分のライセンス負担なし
数秒オーダで
系切り替え
サーバダウン 予備CPU活性化 予備CPU活性化 性能縮退
なし
全面ダウン
追加ライセンス 期間ゼロ
負担なし
DBサーバ CPU利用率 DBサーバ全体スループット
© Hitachi, Ltd. 2012. All rights reserved. 36
- 38. 日立のデータベース パートナーシップ事例
DBサーバの
HAクラスタ・ソリューション
Superdome2(HP-UX) ×
デモンストレーション
でご覧ください
© Hitachi, Ltd. 2012. All rights reserved. 37
- 41. 詳しくはWebで!
12年10月から新連載がスタート! DBOnline 日立のデータベース 検索
□ 毎月、日立のデータベースの最新情報をお伝えします。
http://enterprisezine.jp/dbonline/detail/4272
国産データベースについて
紹介するコーナーが出現!
Hitachi Confidential © Hitachi, Ltd. 2012. All rights reserved. 40
- 44. 他社所有名称に対する表示
・ Androidは,Google Inc. の登録商標です。
・ HP Serviceguardは,Hewlett-Packard Development Company, L.P.の商品名称です。
・ HP-UXは,Hewlett-Packard Development Company, L.P.のオペレーティングシステムの名称です。
・ MicrosoftおよびSQL Serverは,米国Microsoft Corporationの米国およびその他の国における登録商標
または商標です。
・ iOS は,Apple Inc.のOS名称です。
・ superdomeは,Hewlett-Packard Development Company, L.P.の商標です。
・ Oracleは,Oracle Corporation 及びその子会社,関連会社の米国及びその他の国における登録商標です。
・ UNIXは,The Open Groupの米国ならびに他の国における登録商標です。
・ その他記載の会社名,製品名は,それぞれの会社の商標もしくは登録商標です。
© Hitachi, Ltd. 2012. All rights reserved. 43