SlideShare une entreprise Scribd logo
1  sur  45
Télécharger pour lire hors ligne
© 2016 Insight Technology, Inc. All Rights Reserved.
DBAが知っておくべき 最新テクノロジー
ライフワーク的に話し続けて はや7回目(か 8回目かも)
いつもどおり ユルユルにDBMSに役立ちそうなHardware/Storage界隈
のネタ話をしていきます。いつもよりメモリ的な話が多いかも…
© 2016 Insight Technology, Inc. All Rights Reserved. 2
自己紹介
 石川 雅也 (いしかわ まさや)
 現職
 株式会社インサイトテクノロジー 取締役 CTO
ビッグデータソリューション事業部
FB: MasayaIshikawa
 職歴
 外資系HWベンダーにて、ミニコン/UNIX OS担当SE. 社内SE向け技術情報発信、
トラブルシュート。crash dump解析、UNIX SCSI Device Driver改造とか
 1993年 日本オラクルに入社。
DBインフラ系テクニカルサポート、コンサルティング、トラブルシュート。
 1995年 インサイトテクノロジー設立
Oracleパフォーマンス管理ツール Performance Insight開発 (1995~)
Oracleアクセスログ取得管理ツール PISO開発 (2004~)
SQL Server版、富士通Symfoware版 PISO開発 (2005~)
DBコンサルティング、トラブルシュート
2012年 DB専用IAサーバー Insight Qube 開発、販売開始
2013年 Actian DWH向けRDBMS 販売開始
2015年 Delphix データ仮想化ソリューション 販売開始
現在 NVMe, NVMe Fabric, 大規模分析/ストレージ基盤などをR&D中
© 2016 Insight Technology, Inc. All Rights Reserved.
インサイトテクノロジー事業詳細
コンサルティング事業
ソフトウェア事業
ハードウェア事業 (2012年~)
対象データベース: Oracle, SQL Server, MySQL, Actian Vector, Actian Matrix など
支援内容: データベースの設計、構築、運用支援、パフォーマンス改善など
データベースのパフォーマンス監視・分析ツール(自社開発)
データベースのセキュリティ保全ツール(自社開発)
大規模システムの統合監視ツール(自社開発)
マルチデータベースのリアルタイムレプリケーションツール
世界最速のデータベース専用高速サーバー(自社開発)
7年連続シェアNo1
次世代型データウェアハウス向け 超高速データベース
Oracle Standard Edition向け DR構築ツール
Database仮想化による Test Data Management支援、DevOps今やり始めている事業
データベース基盤、ストレージ基盤、データ分
析/データ処理基盤 などの、SW/HW合わせた
プロトタイピングやPoCを支援するサービス
© 2016 Insight Technology, Inc. All Rights Reserved.
今日のセッションの目的とゴール
目的
DBAとして押さえるべき
最新テクノロジーをわかりやす
く紹介する。
今回はストレージの観点のみ
ソフトウェア・テクノロジーの
話はなし
ゴール
最新のストレージ界隈の技術に
ついて知見を得る
© 2016 Insight Technology, Inc. All Rights Reserved. 5
今日のお品書き
HDD Trend
NVMe, NVMe Fabric
SCM
NVDIMM
© 2016 Insight Technology, Inc. All Rights Reserved.
Storage
HDD
6
© 2016 Insight Technology, Inc. All Rights Reserved. 7
出典: テクノ・システム・リサーチ
© 2016 Insight Technology, Inc. All Rights Reserved. 8
出典: テクノ・システム・リサーチ
© 2016 Insight Technology, Inc. All Rights Reserved. 9
http://www.hgst.com/ja/science-of-storage/next-generation-data-centers/10tb-smr-helioseal-hdd
© 2016 Insight Technology, Inc. All Rights Reserved. 10
© 2016 Insight Technology, Inc. All Rights Reserved. 11
Helium-filled HDD
• ヘリウムを密封したHDD 現在は HGSTのみ
• 空気抵抗が1/7になることにより
• プラッターの数が 5 から 7に増加し大容量化
• 消費電力低減、静音化、低温化
• 密封していることにより
• 空気が入らないため故障率が激減 MTBF 250万時間
• 空冷以外の新たな冷却方式が採用可能 (水冷/油冷?)
• 普通の7,200回転と同じ速度と思って下さい
• 価格は従来のHDDよりまだ若干高めだが、電力・スペースコス
トを考えると良い選択肢となる
© 2016 Insight Technology, Inc. All Rights Reserved. 12
Helium-filled HDD
• ヘリウムを密封したHDD 現在は SeagateとHGSTが 10TB
• 空気抵抗が1/7になることにより
• プラッターの数が 5 から 7に増加し大容量化
• 消費電力低減、静音化、低温化
• 密封していることにより
• 空気が入らないため故障率が激減 MTBF 250万時間
• 空冷以外の新たな冷却方式が採用可能 (水冷/油冷?) 液冷出た!
• 普通の7,200回転と同じ速度と思って下さい 10TB速いです!
• 価格は従来のHDDよりまだ若干高めだが、電力・スペースコス
トを考えると良い選択肢となる
© 2016 Insight Technology, Inc. All Rights Reserved. 13
© 2016 Insight Technology, Inc. All Rights Reserved. 14
© 2016 Insight Technology, Inc. All Rights Reserved. 15
HGST 8TB HGST 10TB
© 2016 Insight Technology, Inc. All Rights Reserved. 16
Wrap Up
• HDDは大容量 7200rpm が今後も使われると思う。
• それ以外のHDDは廉価版SSDに代わられる。
• 但し
体積あたりの記憶容量はSSDがどんどん大きくなっている…
記憶容量あたりの価格がSSDが安くなったらどうなるか…
• 容量が10TBから大きく増える話はあまり聞かない。
• 次に来るのは… google?
© 2016 Insight Technology, Inc. All Rights Reserved. 17
Storage
NVMe Fabric
© 2016 Insight Technology, Inc. All Rights Reserved.
Technical Basics of NVMe
• All Parameters for 4kb command in single 64B command
• Support deep queues (64K commands/queue, 64K queues)
• Supports MSI-X and interrupt steering
• Streamlined & simple command set (13 required commands)
18
© 2016 Insight Technology, Inc. All Rights Reserved. 19
© 2016 Insight Technology, Inc. All Rights Reserved.
NVMe in Fabric Environment
• NVMeを使用した
All Flash アプライアンス
のユースケース
• ファブリック上は
SCSIプロトコルで通信
• NVMeとSCSIの
プロトコル変換が必須
だが 100us以上のペナルティ
(NVMeのLatencyは
1~2桁us)
20
© 2016 Insight Technology, Inc. All Rights Reserved.
NVMe over Fabrics
21
© 2016 Insight Technology, Inc. All Rights Reserved. 22
RDMA
• RDMA Remote Direct Memory Access
CPUが関与することなくネットワーク越しにリモート計算機上
のメモリへアクセスする
すなわち、リモート計算機上のメモリからリードおよびリモー
ト計算機上のメモリへ直接ライトする
http://rdma.hatenablog.com/entry/2014/04/06/161737
© 2016 Insight Technology, Inc. All Rights Reserved. 23
How Ethernet RDMA Protocols iWARP and RoCE Support NVMe over Fabrics
© 2016 Insight Technology, Inc. All Rights Reserved. 24
NVMe, NVMe Fabric Performance
1,042 1,0651,030 1,044
2,766
2,302
1,796
1,673
2,759
2,257
0
500
1000
1500
2000
2500
3000
RND. READ SEQ. READ
Throughput (MB/s)
12Gbps SAS
LOCAL
12Gbps SAS
IB QDR, SRP
NVMe
LOCAL
NVMe
iSCSI
NVMe
over Fabric
© 2016 Insight Technology, Inc. All Rights Reserved. 25
Wrap Up
• NVMe (DAS) が実際のシステムに使用され始めている。
• 但し、SWでの冗長化必須なのでSDSのストレージ部分とし
て。あとは運用に乗るか とか(Hot Swapなど)
• NVMe Fabricがやっと規格化。
各社独自実装から移行し、今後事例が増えていくだろう。
まだ荒削りなのでエンタープライズ分野はもうちょい先か。
• Insight Qube NVMe model 発売します…
© 2016 Insight Technology, Inc. All Rights Reserved. 26
Wrap Up
• NVMe (DAS) が実際のシステムに使用され始めている。
• 但し、SWでの冗長化必須なのでSDSのストレージ部分とし
て。あとは運用に乗るか とか(Hot Swapなど)
• NVMe Fabricがやっと規格化。
各社独自実装から移行し、今後事例が増えていくだろう。
まだ荒削りなのでエンタープライズ分野はもうちょい先か。
• Insight Qube NVMe model 発売します…
© 2016 Insight Technology, Inc. All Rights Reserved. 27
SCM
Storage
Class
Memory
© 2016 Insight Technology, Inc. All Rights Reserved. 28日経エレクトロニクス techon.nikkeibp.co.jp/article/MAG/20150702/425921/
© 2016 Insight Technology, Inc. All Rights Reserved. 29
© 2016 Insight Technology, Inc. All Rights Reserved. 30
© 2016 Insight Technology, Inc. All Rights Reserved. 31
NVDIMM
© 2016 Insight Technology, Inc. All Rights Reserved. 32
NVDIMM-N Cookbook: SMART Modular
© 2016 Insight Technology, Inc. All Rights Reserved. 33
NVDIMM-N Cookbook: SMART Modular
© 2016 Insight Technology, Inc. All Rights Reserved. 34
NVDIMM-N Cookbook: SMART Modular
© 2016 Insight Technology, Inc. All Rights Reserved. 35
NVDIMM-N Cookbook: SMART Modular
© 2016 Insight Technology, Inc. All Rights Reserved. 36
NVDIMM-N Cookbook: SMART Modular
© 2016 Insight Technology, Inc. All Rights Reserved. 37
NVDIMM-N Cookbook: SMART Modular
© 2016 Insight Technology, Inc. All Rights Reserved. 38
NVDIMM-N Cookbook: SMART Modular
© 2016 Insight Technology, Inc. All Rights Reserved. 39
NVDIMM-N Cookbook: SMART Modular
© 2016 Insight Technology, Inc. All Rights Reserved. 40
© 2016 Insight Technology, Inc. All Rights Reserved. 41
© 2016 Insight Technology, Inc. All Rights Reserved. 42
Wrap Up
• SCMは Intel/Micron の 3D XPoint が一歩リード。
• 価格は高いみたい。
• NVDIMMも規格化途上。
• 規格化済みの NVDIMM-N
SSD(NAND)の10,000倍のLatencyは非常に魅力的。
© 2016 Insight Technology, Inc. All Rights Reserved. 43
まとめのまとめ
• HDDは大容量 7200rpm が今後も使われる。速度もそこそこ。
それ以外のHDDは廉価版SSDに代わられる。
今後のトピックはあまり無いかな…
• NVMe (DAS) が実際のシステムに使用され始めている。
が、冗長化、Hot Swapなどに注意
Insight Qube NVMe model 発売します。
• NVMe Fabricがやっと規格化。今後に期待
• SCMは Intel/Micron の 3D XPoint が一歩リード。
• NVDIMMも規格化途上だが、SSD(NAND)の10,000倍の
Latencyは非常に魅力的で使いドコロによっては面白そう。
© 2016 Insight Technology, Inc. All Rights Reserved. 44
• 7/15(金) 14:00~
A34 NVMe 徹底検証 インサイトテクノロジー 平間大輔
NVMe, NVMe Over Fabric を使って
Oracle動かしてみたら…
• 7/15(金) 17:00~
D37 Database as Code
サクッとテスト用DB環境をアプリチームに渡したい
~ DevOpsを実現するテクノロジーの秘密
© 2016 Insight Technology, Inc. All Rights Reserved.
記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。
Copyright 2016 Insight Technology, Inc. All Rights Reserved.

Contenu connexe

Tendances

[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
Insight Technology, Inc.
 
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
Insight Technology, Inc.
 

Tendances (20)

[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
 
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
 
[db tech showcase Tokyo 2017] A27: ストレージ視点から見たMariaDB性能チューニング by 東芝メモリ株式会社 佐藤修一
[db tech showcase Tokyo 2017] A27: ストレージ視点から見たMariaDB性能チューニング by 東芝メモリ株式会社 佐藤修一[db tech showcase Tokyo 2017] A27: ストレージ視点から見たMariaDB性能チューニング by 東芝メモリ株式会社 佐藤修一
[db tech showcase Tokyo 2017] A27: ストレージ視点から見たMariaDB性能チューニング by 東芝メモリ株式会社 佐藤修一
 
[db tech showcase Tokyo 2016] E33: こんな方法あり!? 何でもありです! インフラストラクチャレベルインメモリコンピュー...
[db tech showcase Tokyo 2016] E33: こんな方法あり!? 何でもありです! インフラストラクチャレベルインメモリコンピュー...[db tech showcase Tokyo 2016] E33: こんな方法あり!? 何でもありです! インフラストラクチャレベルインメモリコンピュー...
[db tech showcase Tokyo 2016] E33: こんな方法あり!? 何でもありです! インフラストラクチャレベルインメモリコンピュー...
 
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
 
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
 
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
 
[db tech showcase OSS 2017] A22: NoSQL:誰のための、何のためのデータベース?その将来は?by Aerospike, ...
[db tech showcase OSS 2017] A22: NoSQL:誰のための、何のためのデータベース?その将来は?by Aerospike, ...[db tech showcase OSS 2017] A22: NoSQL:誰のための、何のためのデータベース?その将来は?by Aerospike, ...
[db tech showcase OSS 2017] A22: NoSQL:誰のための、何のためのデータベース?その将来は?by Aerospike, ...
 
DBTS2016 Data as Code - Delphix
DBTS2016 Data as Code - DelphixDBTS2016 Data as Code - Delphix
DBTS2016 Data as Code - Delphix
 
[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...
[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...
[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...
 
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
 
[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...
[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...
[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...
 
今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほ今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほ
 
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
 
Rakuten New MySQL Backup System With Xtrabackup
Rakuten New MySQL Backup System With XtrabackupRakuten New MySQL Backup System With Xtrabackup
Rakuten New MySQL Backup System With Xtrabackup
 
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ...
 
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
 
[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Da...
[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Da...[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Da...
[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Da...
 
[db tech showcase Tokyo 2017] E14: 進化を続けるPostgreSQL ~Linuxの成功からみるPostgreSQLの将...
[db tech showcase Tokyo 2017] E14: 進化を続けるPostgreSQL ~Linuxの成功からみるPostgreSQLの将...[db tech showcase Tokyo 2017] E14: 進化を続けるPostgreSQL ~Linuxの成功からみるPostgreSQLの将...
[db tech showcase Tokyo 2017] E14: 進化を続けるPostgreSQL ~Linuxの成功からみるPostgreSQLの将...
 
Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤
 

Similaire à DBTS2016 DBAのための最新テクノロジー

Kansumi2013 tamagawa
Kansumi2013 tamagawaKansumi2013 tamagawa
Kansumi2013 tamagawa
SORACOM, INC
 
AWS Summit 2016 「新規事業 "auでんき”をクラウドスピードでサービスイン」
AWS Summit 2016 「新規事業 "auでんき”をクラウドスピードでサービスイン」AWS Summit 2016 「新規事業 "auでんき”をクラウドスピードでサービスイン」
AWS Summit 2016 「新規事業 "auでんき”をクラウドスピードでサービスイン」
KDDI
 
C22 スプリットブレインになっても一貫性を保証するインメモリデータグリッド製品 by Taichi Umeda
C22 スプリットブレインになっても一貫性を保証するインメモリデータグリッド製品 by  Taichi UmedaC22 スプリットブレインになっても一貫性を保証するインメモリデータグリッド製品 by  Taichi Umeda
C22 スプリットブレインになっても一貫性を保証するインメモリデータグリッド製品 by Taichi Umeda
Insight Technology, Inc.
 
[D17]DBエンジニアのための最新HW講座 by Masaya Ishikawa
[D17]DBエンジニアのための最新HW講座 by Masaya Ishikawa[D17]DBエンジニアのための最新HW講座 by Masaya Ishikawa
[D17]DBエンジニアのための最新HW講座 by Masaya Ishikawa
Insight Technology, Inc.
 

Similaire à DBTS2016 DBAのための最新テクノロジー (20)

DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジーDBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
 
PostgreSQLによるデータ分析ことはじめ
PostgreSQLによるデータ分析ことはじめPostgreSQLによるデータ分析ことはじめ
PostgreSQLによるデータ分析ことはじめ
 
DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話
DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話
DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話
 
【YahooJapanMeetup#31LT】ElasticStack on AWS DeepDive
【YahooJapanMeetup#31LT】ElasticStack on AWS DeepDive【YahooJapanMeetup#31LT】ElasticStack on AWS DeepDive
【YahooJapanMeetup#31LT】ElasticStack on AWS DeepDive
 
サバフェス2016まとめLT
サバフェス2016まとめLTサバフェス2016まとめLT
サバフェス2016まとめLT
 
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
 
Kansumi2013 tamagawa
Kansumi2013 tamagawaKansumi2013 tamagawa
Kansumi2013 tamagawa
 
Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep LearningWatsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
 
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
 
インフラ野郎AzureチームProX
インフラ野郎AzureチームProXインフラ野郎AzureチームProX
インフラ野郎AzureチームProX
 
Rancher ではじめる マルチクラウドコンテナー
Rancher ではじめる マルチクラウドコンテナーRancher ではじめる マルチクラウドコンテナー
Rancher ではじめる マルチクラウドコンテナー
 
Docker国内外本番環境サービス事例のご紹介
Docker国内外本番環境サービス事例のご紹介Docker国内外本番環境サービス事例のご紹介
Docker国内外本番環境サービス事例のご紹介
 
AWS Summit 2016 「新規事業 "auでんき”をクラウドスピードでサービスイン」
AWS Summit 2016 「新規事業 "auでんき”をクラウドスピードでサービスイン」AWS Summit 2016 「新規事業 "auでんき”をクラウドスピードでサービスイン」
AWS Summit 2016 「新規事業 "auでんき”をクラウドスピードでサービスイン」
 
Singularityで分散深層学習
Singularityで分散深層学習Singularityで分散深層学習
Singularityで分散深層学習
 
Diskless Compute Nodeを使ったImmutable OpenStack
Diskless Compute Nodeを使ったImmutable OpenStackDiskless Compute Nodeを使ったImmutable OpenStack
Diskless Compute Nodeを使ったImmutable OpenStack
 
クラウド2.0のもたらす破壊力と大企業内でのイノベーション
クラウド2.0のもたらす破壊力と大企業内でのイノベーションクラウド2.0のもたらす破壊力と大企業内でのイノベーション
クラウド2.0のもたらす破壊力と大企業内でのイノベーション
 
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
 
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
 
C22 スプリットブレインになっても一貫性を保証するインメモリデータグリッド製品 by Taichi Umeda
C22 スプリットブレインになっても一貫性を保証するインメモリデータグリッド製品 by  Taichi UmedaC22 スプリットブレインになっても一貫性を保証するインメモリデータグリッド製品 by  Taichi Umeda
C22 スプリットブレインになっても一貫性を保証するインメモリデータグリッド製品 by Taichi Umeda
 
[D17]DBエンジニアのための最新HW講座 by Masaya Ishikawa
[D17]DBエンジニアのための最新HW講座 by Masaya Ishikawa[D17]DBエンジニアのための最新HW講座 by Masaya Ishikawa
[D17]DBエンジニアのための最新HW講座 by Masaya Ishikawa
 

Dernier

Dernier (11)

Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 

DBTS2016 DBAのための最新テクノロジー

  • 1. © 2016 Insight Technology, Inc. All Rights Reserved. DBAが知っておくべき 最新テクノロジー ライフワーク的に話し続けて はや7回目(か 8回目かも) いつもどおり ユルユルにDBMSに役立ちそうなHardware/Storage界隈 のネタ話をしていきます。いつもよりメモリ的な話が多いかも…
  • 2. © 2016 Insight Technology, Inc. All Rights Reserved. 2 自己紹介  石川 雅也 (いしかわ まさや)  現職  株式会社インサイトテクノロジー 取締役 CTO ビッグデータソリューション事業部 FB: MasayaIshikawa  職歴  外資系HWベンダーにて、ミニコン/UNIX OS担当SE. 社内SE向け技術情報発信、 トラブルシュート。crash dump解析、UNIX SCSI Device Driver改造とか  1993年 日本オラクルに入社。 DBインフラ系テクニカルサポート、コンサルティング、トラブルシュート。  1995年 インサイトテクノロジー設立 Oracleパフォーマンス管理ツール Performance Insight開発 (1995~) Oracleアクセスログ取得管理ツール PISO開発 (2004~) SQL Server版、富士通Symfoware版 PISO開発 (2005~) DBコンサルティング、トラブルシュート 2012年 DB専用IAサーバー Insight Qube 開発、販売開始 2013年 Actian DWH向けRDBMS 販売開始 2015年 Delphix データ仮想化ソリューション 販売開始 現在 NVMe, NVMe Fabric, 大規模分析/ストレージ基盤などをR&D中
  • 3. © 2016 Insight Technology, Inc. All Rights Reserved. インサイトテクノロジー事業詳細 コンサルティング事業 ソフトウェア事業 ハードウェア事業 (2012年~) 対象データベース: Oracle, SQL Server, MySQL, Actian Vector, Actian Matrix など 支援内容: データベースの設計、構築、運用支援、パフォーマンス改善など データベースのパフォーマンス監視・分析ツール(自社開発) データベースのセキュリティ保全ツール(自社開発) 大規模システムの統合監視ツール(自社開発) マルチデータベースのリアルタイムレプリケーションツール 世界最速のデータベース専用高速サーバー(自社開発) 7年連続シェアNo1 次世代型データウェアハウス向け 超高速データベース Oracle Standard Edition向け DR構築ツール Database仮想化による Test Data Management支援、DevOps今やり始めている事業 データベース基盤、ストレージ基盤、データ分 析/データ処理基盤 などの、SW/HW合わせた プロトタイピングやPoCを支援するサービス
  • 4. © 2016 Insight Technology, Inc. All Rights Reserved. 今日のセッションの目的とゴール 目的 DBAとして押さえるべき 最新テクノロジーをわかりやす く紹介する。 今回はストレージの観点のみ ソフトウェア・テクノロジーの 話はなし ゴール 最新のストレージ界隈の技術に ついて知見を得る
  • 5. © 2016 Insight Technology, Inc. All Rights Reserved. 5 今日のお品書き HDD Trend NVMe, NVMe Fabric SCM NVDIMM
  • 6. © 2016 Insight Technology, Inc. All Rights Reserved. Storage HDD 6
  • 7. © 2016 Insight Technology, Inc. All Rights Reserved. 7 出典: テクノ・システム・リサーチ
  • 8. © 2016 Insight Technology, Inc. All Rights Reserved. 8 出典: テクノ・システム・リサーチ
  • 9. © 2016 Insight Technology, Inc. All Rights Reserved. 9 http://www.hgst.com/ja/science-of-storage/next-generation-data-centers/10tb-smr-helioseal-hdd
  • 10. © 2016 Insight Technology, Inc. All Rights Reserved. 10
  • 11. © 2016 Insight Technology, Inc. All Rights Reserved. 11 Helium-filled HDD • ヘリウムを密封したHDD 現在は HGSTのみ • 空気抵抗が1/7になることにより • プラッターの数が 5 から 7に増加し大容量化 • 消費電力低減、静音化、低温化 • 密封していることにより • 空気が入らないため故障率が激減 MTBF 250万時間 • 空冷以外の新たな冷却方式が採用可能 (水冷/油冷?) • 普通の7,200回転と同じ速度と思って下さい • 価格は従来のHDDよりまだ若干高めだが、電力・スペースコス トを考えると良い選択肢となる
  • 12. © 2016 Insight Technology, Inc. All Rights Reserved. 12 Helium-filled HDD • ヘリウムを密封したHDD 現在は SeagateとHGSTが 10TB • 空気抵抗が1/7になることにより • プラッターの数が 5 から 7に増加し大容量化 • 消費電力低減、静音化、低温化 • 密封していることにより • 空気が入らないため故障率が激減 MTBF 250万時間 • 空冷以外の新たな冷却方式が採用可能 (水冷/油冷?) 液冷出た! • 普通の7,200回転と同じ速度と思って下さい 10TB速いです! • 価格は従来のHDDよりまだ若干高めだが、電力・スペースコス トを考えると良い選択肢となる
  • 13. © 2016 Insight Technology, Inc. All Rights Reserved. 13
  • 14. © 2016 Insight Technology, Inc. All Rights Reserved. 14
  • 15. © 2016 Insight Technology, Inc. All Rights Reserved. 15 HGST 8TB HGST 10TB
  • 16. © 2016 Insight Technology, Inc. All Rights Reserved. 16 Wrap Up • HDDは大容量 7200rpm が今後も使われると思う。 • それ以外のHDDは廉価版SSDに代わられる。 • 但し 体積あたりの記憶容量はSSDがどんどん大きくなっている… 記憶容量あたりの価格がSSDが安くなったらどうなるか… • 容量が10TBから大きく増える話はあまり聞かない。 • 次に来るのは… google?
  • 17. © 2016 Insight Technology, Inc. All Rights Reserved. 17 Storage NVMe Fabric
  • 18. © 2016 Insight Technology, Inc. All Rights Reserved. Technical Basics of NVMe • All Parameters for 4kb command in single 64B command • Support deep queues (64K commands/queue, 64K queues) • Supports MSI-X and interrupt steering • Streamlined & simple command set (13 required commands) 18
  • 19. © 2016 Insight Technology, Inc. All Rights Reserved. 19
  • 20. © 2016 Insight Technology, Inc. All Rights Reserved. NVMe in Fabric Environment • NVMeを使用した All Flash アプライアンス のユースケース • ファブリック上は SCSIプロトコルで通信 • NVMeとSCSIの プロトコル変換が必須 だが 100us以上のペナルティ (NVMeのLatencyは 1~2桁us) 20
  • 21. © 2016 Insight Technology, Inc. All Rights Reserved. NVMe over Fabrics 21
  • 22. © 2016 Insight Technology, Inc. All Rights Reserved. 22 RDMA • RDMA Remote Direct Memory Access CPUが関与することなくネットワーク越しにリモート計算機上 のメモリへアクセスする すなわち、リモート計算機上のメモリからリードおよびリモー ト計算機上のメモリへ直接ライトする http://rdma.hatenablog.com/entry/2014/04/06/161737
  • 23. © 2016 Insight Technology, Inc. All Rights Reserved. 23 How Ethernet RDMA Protocols iWARP and RoCE Support NVMe over Fabrics
  • 24. © 2016 Insight Technology, Inc. All Rights Reserved. 24 NVMe, NVMe Fabric Performance 1,042 1,0651,030 1,044 2,766 2,302 1,796 1,673 2,759 2,257 0 500 1000 1500 2000 2500 3000 RND. READ SEQ. READ Throughput (MB/s) 12Gbps SAS LOCAL 12Gbps SAS IB QDR, SRP NVMe LOCAL NVMe iSCSI NVMe over Fabric
  • 25. © 2016 Insight Technology, Inc. All Rights Reserved. 25 Wrap Up • NVMe (DAS) が実際のシステムに使用され始めている。 • 但し、SWでの冗長化必須なのでSDSのストレージ部分とし て。あとは運用に乗るか とか(Hot Swapなど) • NVMe Fabricがやっと規格化。 各社独自実装から移行し、今後事例が増えていくだろう。 まだ荒削りなのでエンタープライズ分野はもうちょい先か。 • Insight Qube NVMe model 発売します…
  • 26. © 2016 Insight Technology, Inc. All Rights Reserved. 26 Wrap Up • NVMe (DAS) が実際のシステムに使用され始めている。 • 但し、SWでの冗長化必須なのでSDSのストレージ部分とし て。あとは運用に乗るか とか(Hot Swapなど) • NVMe Fabricがやっと規格化。 各社独自実装から移行し、今後事例が増えていくだろう。 まだ荒削りなのでエンタープライズ分野はもうちょい先か。 • Insight Qube NVMe model 発売します…
  • 27. © 2016 Insight Technology, Inc. All Rights Reserved. 27 SCM Storage Class Memory
  • 28. © 2016 Insight Technology, Inc. All Rights Reserved. 28日経エレクトロニクス techon.nikkeibp.co.jp/article/MAG/20150702/425921/
  • 29. © 2016 Insight Technology, Inc. All Rights Reserved. 29
  • 30. © 2016 Insight Technology, Inc. All Rights Reserved. 30
  • 31. © 2016 Insight Technology, Inc. All Rights Reserved. 31 NVDIMM
  • 32. © 2016 Insight Technology, Inc. All Rights Reserved. 32 NVDIMM-N Cookbook: SMART Modular
  • 33. © 2016 Insight Technology, Inc. All Rights Reserved. 33 NVDIMM-N Cookbook: SMART Modular
  • 34. © 2016 Insight Technology, Inc. All Rights Reserved. 34 NVDIMM-N Cookbook: SMART Modular
  • 35. © 2016 Insight Technology, Inc. All Rights Reserved. 35 NVDIMM-N Cookbook: SMART Modular
  • 36. © 2016 Insight Technology, Inc. All Rights Reserved. 36 NVDIMM-N Cookbook: SMART Modular
  • 37. © 2016 Insight Technology, Inc. All Rights Reserved. 37 NVDIMM-N Cookbook: SMART Modular
  • 38. © 2016 Insight Technology, Inc. All Rights Reserved. 38 NVDIMM-N Cookbook: SMART Modular
  • 39. © 2016 Insight Technology, Inc. All Rights Reserved. 39 NVDIMM-N Cookbook: SMART Modular
  • 40. © 2016 Insight Technology, Inc. All Rights Reserved. 40
  • 41. © 2016 Insight Technology, Inc. All Rights Reserved. 41
  • 42. © 2016 Insight Technology, Inc. All Rights Reserved. 42 Wrap Up • SCMは Intel/Micron の 3D XPoint が一歩リード。 • 価格は高いみたい。 • NVDIMMも規格化途上。 • 規格化済みの NVDIMM-N SSD(NAND)の10,000倍のLatencyは非常に魅力的。
  • 43. © 2016 Insight Technology, Inc. All Rights Reserved. 43 まとめのまとめ • HDDは大容量 7200rpm が今後も使われる。速度もそこそこ。 それ以外のHDDは廉価版SSDに代わられる。 今後のトピックはあまり無いかな… • NVMe (DAS) が実際のシステムに使用され始めている。 が、冗長化、Hot Swapなどに注意 Insight Qube NVMe model 発売します。 • NVMe Fabricがやっと規格化。今後に期待 • SCMは Intel/Micron の 3D XPoint が一歩リード。 • NVDIMMも規格化途上だが、SSD(NAND)の10,000倍の Latencyは非常に魅力的で使いドコロによっては面白そう。
  • 44. © 2016 Insight Technology, Inc. All Rights Reserved. 44 • 7/15(金) 14:00~ A34 NVMe 徹底検証 インサイトテクノロジー 平間大輔 NVMe, NVMe Over Fabric を使って Oracle動かしてみたら… • 7/15(金) 17:00~ D37 Database as Code サクッとテスト用DB環境をアプリチームに渡したい ~ DevOpsを実現するテクノロジーの秘密
  • 45. © 2016 Insight Technology, Inc. All Rights Reserved. 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。 Copyright 2016 Insight Technology, Inc. All Rights Reserved.