DRBD、Heartbeat、Pacemakerを使って、たった2台のIAサーバのみでライブマイグレーション可能な高可用KVM仮想クラスタを構築しました。これは、このシステムの設計、ネットワークやストレージ構成の工夫箇所、パフォーマンスなどについて説明した資料です。 2011年3月4日に「オープンソースカンファレンス2011 Tokyo/Spring」で発表したときの発表資料です。

1. DRBD/Heartbeat/Pacemaker で作る KVM 仮想化クラスタ 株式会社サードウェア 久保 元治 2 台のサーバのみで ライブマイグレーションを実現

3. 設計

4. iSCSIストレージ・クラスタ

5. ネットワーク

6. パフォーマンス

12. 設計 リアルタイム・レプリケーション サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 1 KVM DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット 1 2 3 4 iSCSI イニシエータ サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ )

13. 設計 リアルタイム・レプリケーション サーバ 1 KVM DRBD QEMU ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 1 KVM DRBD ( プライマリ ) QEMU ゲスト OS 2 LVM2 iSCSI ターゲット 1 2 3 4 iSCSI イニシエータ サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ ) QEMU ゲスト OS １ QEMU ゲスト OS １ ライブマイグレーション

14. 設計 リアルタイム・レプリケーション サーバ 1 KVM QEMU QEMU ゲスト OS １ ゲスト OS 2 iSCSI イニシエータ サーバ 1 KVM QEMU QEMU ゲスト OS １ ゲスト OS 2 iSCSI イニシエータ サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット サーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ ) DRBD LVM2 iSCSI ターゲット DRBD ( プライマリ ) LVM2 iSCSI ターゲット 1 2 3 4 フェールオーバ

15. 設計 リアルタイム・レプリケーション サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 1 KVM DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット サーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 1 2 3 4 iSCSI イニシエータ DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ ゲスト OS 2 QEMU QEMU ゲスト OS １ ゲスト OS 2 ダウン！ 物理サーバがダウン

16. 設計 ボンディング iSCSI アクセス用 ボンディング DRBD データ用 SAS SAS SAS SAS RAID (BBWC) eth0 eth1 eth2 eth3 eth4 eth5 SAS SAS SAS SAS RAID (BBWC) eth0 eth1 eth2 eth3 eth4 eth5 LAN 監視用

18. DRBD上にLVMを構成

20. iSCSIストレージクラスタ primitive main_t01_target ocf:heartbeat:iSCSITarget params implementation="iet" iqn="iqn.2006-05.jp.onisi:kvmsv:t01" tid="1" portals="10.0.1.65:3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive main_t01lv01 ocf:heartbeat:iSCSILogicalUnit params implementation="iet" lun="1" target_iqn="iqn.2006-05.jp.onisi:kvmsv:t01" path="/dev/vg/t01lv01" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive post_ip1 ocf:heartbeat:IPaddr2 params ip="10.0.xxx.yyy" cidr_netmask="24" op monitor interval="50" timeout="30" primitive post_ip2 ocf:heartbeat:IPaddr2 params ip="192.168.aaa.bbb" cidr_netmask="24" op monitor interval="50" timeout="30" primitive post_portunblock _iscsi ocf:heartbeat:portblock params protocol="tcp" action="unblock" portno="3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive pre_lvm ocf:heartbeat:LVM params volgrpname="vg" op monitor interval="50" timeout="30" op start interval="0" timeout="30" op stop interval="0" timeout="30" primitive pre_portblock_iscsi ocf:heartbeat:portblock params protocol="tcp" action="block" portno="3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30"

21. iSCSIストレージクラスタ primitive res_drbd_r0 ocf:linbit:drbd params drbd_resource="r0" op monitor interval="10" op start interval="0" timeout="240" op stop interval="0" timeout="100" primitive res_iscsi lsb:iscsi primitive res_libvirtd lsb:libvirtd op start interval="0" timeout="120" op stop interval="0" timeout="300" group all pre_portblock_iscsi pre_lvm main_t01_target main_t01lv01 post_ip1 post_ip2 post_portunblock_iscsi ms ms_drbd_r0 res_drbd_r0 meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" clone c_iscsi res_iscsi meta clone-node-max="1" clone-max="2" globally-unique="false" clone c_libvirtd res_libvirtd meta clone-node-max="1" clone-max="2" globally-unique="false" location l_all all 100: kvmsv001.onisi.jp colocation col_all inf: all ms_drbd_r0:Master order o_all 0: ms_drbd_r0:promote all:start order o_all_iscsi inf: all c_iscsi order o_iscsi_libvirtd inf: c_iscsi c_libvirtd property default-resource-stickiness="200" no-quorum-policy="ignore" stonith-enabled="false"

23. ボンディング(mode=0)だけでは不十分

24. ジャンボフレーム(mtu 9000)を追加

25. ネットワーク 参考: KVMネットワーク構成ガイド for RHEL 5.4 ( 日本 IBM Linux/OSS サポート・センター ) eth0 eth1 eth2 eth3 eth4 eth5 bond0 bond1 VLAN サービス提供 サーバ管理 Heartbeat DRBD レプリケーション Heartbeat iSCSI アクセス ゲスト間通信

28. パフォーマンス サーバ本体 HP Proliant DL 360 G7 メモリ 18GB RAID コントローラ P410i (BBWC 512MB) ハードディスク SAS 300GB 10,000rpm×6 (RAID5) ネットワーク 1000BaseT

29. パフォーマンス eth0 bonding (eth0+eth1) bonding (eth0+eth1+eth2) bonding (eth0+eth1+eth2+eth3) 1500 940 Mbps 1500 1213 Mbps 1500 1498 Mbps 1500 2092 Mbps bonding (eth0+eth1) 9000 1964 Mbps ネットワーク構成 MTU 性能

30. パフォーマンス DRBD 構成前の HDD への直接書き込み 141 MB/sec DRBD 領域に直接書き込み 230 MB/sec ローカル iSCSI ターゲットに書き込み リモート iSCSI ターゲットに書き込み 1 ゲスト、仮想ディスクに書き込み 2 ゲスト、仮想ディスクに同時書き込み 310 MB/sec 122 MB/sec 172 MB/sec 126 MB/sec

33. virt-managerはまだVLANをサポートしていない