DRBD9とdrbdmanageの紹介

15/08/05
Copyright 2015, ThirdWare Inc.
1
Data Protection by OSS!
Software-Defined Storage として大きく進化した
DRBD9 & drbdmanage
株式会社サードウェア
久保元治
mkubo@3ware.co.jp

15/08/05
2
DRBD8 のおさらい
アプリケーション
ファイルシステム
ページキャッシュ
DRBD
( プライマリ )
ディスクドライバ
Raw デバイス
NIC ドライバ
ディスク
スケジューラ
ディスク
TCP/IP
ネットワークカード
ディスク
NIC ドライバ
TCP/IP
ネットワークカード
DRBD
( セカンダリ )
ディスクドライバ
ディスク
スケジューラ

15/08/05
3
DRBD8 のおさらい
● 2 ノードのリアルタイム・レプリケーション
● 通信回復時の完全自動再同期
● カーネルレベルの実装による高速性
● 160,000 IOPS 超
● ディスク読み込みの負荷分散
● 複数ボリュームの同時レプリケーション
● LAN 向けの同期、 WAN 向けの非同期
● Linux カーネルの一部 (2.6.33 、 2010 年 )
● Pacemaker との連携でシェアードナッシングを実現
DRBD
8
DRBD
8

15/08/05
4
DRBD9 の新機能
● 最大 31 コネクションのレプリケーション
● ノード数は最大 32
● 自動プロモーション
● 多彩なトランスポート対応 (TCP 、 SCTP 、 RDMA)
● DRBD クライアント
● ストレージ自動再配置 SCTP: Stream Control Transmission Protocol
RDMA: Remote Direct Memory Access
DRBD
9
DRBD
9
DRBD
9 DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9
DRBD
9 DRBD
9
DRBD
9
DRBD
9DRBD
9
DRBD
9
DRBD
9
DRBD
9

15/08/05
5
自動プロモーション
● DRBD 8.x ● DRBD9
drbdadm primary <res>
mount /dev/drbdn /mnt mount /dev/drbdn /mnt
umount /dev/drbdn
drbdadm secondary <res>
umount /dev/drbdn

15/08/05
6
DRBD9: トランスポート
TCP SCTP RDMA
Ethernet InfinibandSCI
various suppliers Mellanox etc.Dolphin Chelsio etc
IP
IPoIB
RoCESSOCKS TCP SCTP iWARP
Transport
Protocol
Hardware
Medium
DRBD9 の RDMA トランスポートは 430,000IOPS 超の高速レプリケーションを実現

15/08/05
7
DRBD8 の管理ツール
DRBD Kernel driver
drbdsetup/drbdmeta
drbdadm
● 事前に DRBD 領域用ブロックデバイスを作成しておく必要がある
● DRBD 設定ファイルは管理者が作成して配布しなければならない

15/08/05
8
drbdmanage の必要性
● 管理者による drbd.conf の管理は限界
● 多数のリソース ( 名前、サイズ、レプリケーション数 )
● 多数のノード ( コネクション )
● 前後処理をまとめて自動化したい
● LVM ツール (lvcreate 、 lvresize)
● drbd.conf の自動生成と自動配布
● drbdadm ( リソース有効化と初期同期 )

15/08/05
9
drbdmanage の機能と特徴
● DRBD リソースのプロビジョニングツール
● Python
● LV を管理
● 必要なノードに LV を作成
● 空き容量管理
● スナップショット管理
● DRBD9 自体を使ってデータベースを管理
● 数千ノードで動作するスケーラビリティ ( 開発中 )

15/08/05
10
DRBD9 の管理ツール drbdmanage
DRBD Kernel driver
drbdsetup/drbdmeta
drbdadm
drbdmanage daemon
drbdmanage
device mapper
dmsetup
LVM tools
● DRBD8 と同じ管理も可能だが、 drbdmanage が役立つ
drbdmanage
customized driver
D-bus

15/08/05
11
drbdmanage
● drbdmanage init <IPaddr>
● drbdmanage の初期化
● drbdmanage add-node <host> <IP>
● DRBD9 実行ノードの追加
● drbdmanage new-volume <name> <size> --deploy <n>
● name: リソース名
● size: リソースサイズ
● n: 多重度 ( レプリケートするサーバ数 )

15/08/05
12
スケールアウト
41 2 3
管理用ボリューム
drbdmanage が
管理するレプリケ
ーション領域
A A
BB
DD
drbdctrl
C
B
drbdctrl drbdctrl drbdctrl
C
サーバを追加する。
drbdmanage new-node
1 2 3 4 5
A A
BB
DD
drbdctrl
C
B
C
drbdctrl

15/08/05
13
スケールアウト
新しいボリュームの追加
負荷や空き容量を均一化するた
めに、既存ボリュームを再配置す
る ( オプション )
1 2 3 4 5
1 2 3 4 5
A A
BB
DD
drbdctrl
C
C
drbdctrl
C
A A
B
DD
drbdctrl
B
C
drbdctrl
C
B
E E E
A A
BB
DD
drbdctrl
C
B
C
drbdctrl
B

15/08/05
14
DRBD and OpenStack (Cinder)
DRBD + drbdmanage

15/08/05
15
Cinder ドライバ
DRBD Kernel driver
drbdsetup/drbdmeta
drbdadm
drbdmanage daemon
drbdmanage
device mapper
dmsetup
LVM tools
Cinder Driver
(drbdmanagedrv.py)
D-bus

15/08/05
16
OpenStack: SAN ベースの構成
SAN ストレージ
SAN
Ethernet Neutron
Nova
Cinder
fibre channel switches
SAN ストレージ
ネットワーク
ストレージ
計算

15/08/05
17
OpenStack: drbdmanagedrv.py
Ethernet
Ethernet Neutron
Nova
Cinder
network switches
ネットワーク
ストレージ
計算
レプリケーション用 HDD を内蔵する IA サーバ

15/08/05
18
DRBD クライアント
A B C
A
B
CC C
A A
B B
アプリアプリアプリ
DRBD9
ストレージクラスタ
アプリケーション
実行サーバ群

15/08/05
19
DRBD
クライアント
DRBD DRBD DRBD
アプリ
ファイル
システム
DRBD
クライアント
DRBD DRBD DRBD
アプリ
ファイル
システム
● ローカルストレージを持たない
DRBD
● アプリからの書き込みは全部の
「 DRBD サーバ」に冗長書き込み
● 読み込みは「 DRBD サーバ」から
分散読み込みできる

15/08/05
20
DRBD
クライアント
DRBD DRBD DRBD
アプリ
DRBD クライアントによる iSCSI の置き換え
iSCSI
イニシエータ
DRBD DRBD DRBD
アプリ
iSCSI
ターゲット
iSCSI の代わりに
DRBD プロトコルを使用。
iSCSI のオーバヘッドを
削減。
ディスク I/O 関連の
レイヤを削減できる。ファイルシステム
LVM 他

15/08/05
21
OpenStack: SAN レス構成
Ethernet Neutron
Nova
Cinder
ネットワーク
ストレージ
計算
レプリケーション用 HDD を内蔵する IA サーバ
高速半導体ストレージ、 RDMA による高速レプリケーション (10 万 IOPS 以上 )
Nova と Cinder の役割を融合
- コストダウン
- 性能向上

15/08/05
22
フラットな遠隔レプリケーション
DRBD8
DRBD8
DRBD8
DRBD8
DRBD9 DRBD9 DRBD9
バックアップ
( ローカル )
DRBD9
HA クラスタ
バックアップ
( リモート )

15/08/05
23
フラットな遠隔レプリケーション
DRBD 8
DRBD 8
DRBD 8
DRBD 8
DRBD
Proxy
DRBD
Proxy
DRBD
Proxy
バックアップ
( ローカル )
DRBD
Proxy
HA クラスタ
バックアップ
( リモート )
DRBD 9 DRBD 9 DRBD 9 DRBD 9

15/08/05
24
パフォーマンス

15/08/05
25
まとめ
● DRBD
● 10年以上の実績があるストレージ管理プロトコル
● 優れたI/Oパフォーマンス
● 多ノードリアルタイム同期レプリケーション(業界初)
● 同期・非同期(LAN・遠隔)混在も可能
● drbdmanageがデプロイメントを自動化
● コマンドラインツール(drbdmanage)
● D-bus
● スケールアウト型ストレージ・クラスタ
● OpenStack Cinder ドライバ(drbdmanagedrv.py)
● コモデティ製品によるコストダウン
● SSD/PCIeストレージによる高速化
● DRBDクライアントがSANレスを実現

15/08/05
26
DRBD9 の入手
● プログラム
● http://oss.linbit.com/drbd/
● git://git.linbit.com/drbd-9.0.git
● 情報
● https://blog.3ware.co.jp/
● http://drbd.linbit.com/
● http://oss.linbit.com/
● お問い合わせ
● info@3ware.co.jp

DRBD9とdrbdmanageの紹介

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (7)

Similaire à DRBD9とdrbdmanageの紹介

Similaire à DRBD9とdrbdmanageの紹介 (20)

DRBD9とdrbdmanageの紹介