OSC 2011 Tokyo/Fall 自宅SAN友の会（Infinibandお試し編）

自宅SAN友の会（#jitakusan）
島崎聡史（＠smzksts）

島崎聡史（twitter: @smzksts）
- 自宅SAN友の会主宰
 メーカー系研修ベンダーの講師
とある仮想化、クラウド、
- サーバ仮想化＆ストレージ研修を担当
- VMware Certified Instructor （VCI）シンクライアントベンダー
- Xen, KVM, Solaris Containers のSE
- プライベートクラウド（Eucalyptus） - XenServer
- デスクトップ仮想化 - Cloudstack
- XenDesktop, XenApp
インフラ系流行りモノ担当便利屋さん。

#jitakusan #osc11tk Page 2

自宅SAN
- iSCSI
- Fibre Channel
- 中古HW＋OSCでお安く
自宅ラック
- スチールラック同等の
スペース
- 高密度集約、高可動性
- 安全性


今回の基本方針
-省スペース
-低コスト
＋短時間でできる
＋初心者向け

これからお話するトピックは、
私自身が初心者です。

IPoIB (IP over Infiniband)で
CentOSのNFSサーバと
Citrix XenServerをつないでみた


IPoIBとは
- Infiniband上でIP通信を行う機能
Infinibandとは
- InfiniBand(インフィニバンド)とは、非
常に高いRAS（信頼性・可用性・保守
性)を持つ基幹系・HPC系のサーバ/クラ
スター用高速I/Oバスアーキテクチャ及
びインターコネクトのこと。
※Wikipediaより引用


構成ごとの理論スループット

SDR DDR QDR FDR EDR HDR NDR

2 4 8 14 26 125 750
1X
Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s Gbit/s

8 16 32 56 104 500 3000
4X

24 48 96 168 312 1500 9000
12X


あんまり
家になさそう

1.ハードウェアの入手
2.ソフトウェアの入手
3.インストールと設定


例によってネットオークションで
HCA（Host Channel Adopter = Infinibandカード）
- ポート単価￥3K～6K 程度（SDR 10G）
IBケーブル
- ￥3K～6K 程度
IBスイッチ
- 希に見かける程度。直結構成なら
1万円未満で可能！
（※マシン費用は除く）


CentOS
- そもそも無償
Citrix XenServer
- 最新バージョン 6.0（2011/11/19現在）
- 無償エディション or 評価版でOK
IB HCAのドライバやユーティリティ無料です
※一部コンテンツは有料だったりしません

- メーカーサイトからダウンロード
- 無償


Citrix CentOS 5.7
XenServer 6.0
VM格納用
サーバ：富士通 MX130S1
VM稼働用 NFSサーバ
HCA：Mellanox Infinihost III


# cd /var/tmp
# wget
http://www.mellanox.com/downloads/ofed/MLNX_OFED_LINUX-
1.5.3-1.0.0.2-rhel5.7-i686.iso
※Mellanoxのサイトにディストリビューション、バージョン、アーキテクチャ
ごとのISOイメージがあるので、そのアドレスをあらかじめ確認
# mount -o loop MLNX_OFED_LINUX-1.5.3-1.0.0.2-rhel5.7-
i686.iso /mnt
# /mnt/mlnxofedinstall
※インストーラが実行されます


# vi /etc/sysconfig/network-scritps/ifcfg-ib0
DEVICE=ib0
TYPE=Infiniband
BOOTPROTO=static
BROADCAST=192.168.9.255
IPADDR=192.168.9.101
NETMASK=255.255.255.0
NETWORK=192.168.9.0
ONBOOT=yes
# chkconfig opensmd on ※ネットワーク内の1台のみ
# shutdown -r now


ドライバの準備
- MellanoxのドライバはXenServer用にビルドされていない
- XenServer上では直接ドライバをビルドできない
- DDK（Driver Development Kit 仮想アプライアンス）でビ
ルドし、XenServerにコピーする
- DDKはCitrixからDLし、XenServerにインポートする
- XenServer6.0（5.6fp1以降）はCentOS 5.5（RHEL5.5）
32bit用のドライバが利用可能


[root@localhost ~]# mount /dev/xvdb /mnt
[root@localhost ~]# /mnt/mlnxofedinstall
The 2.6.32.12-0.7.1.xs6.0.0.529.170661xen kernel is installed, but do not have drivers
available.
Cannot continue. ※そのままインストールはできません。
[root@localhost ~]# cp /mnt/src/OFED-1.5.3-1.0.0.tgz /var/tmp
[root@localhost ~]# cd /var/tmp/
[root@localhost tmp]# tar xvfz OFED-1.5.3-1.0.0.tgz
(※省略）
[root@localhost OFED-1.5.3-1.0.0]# ls
BUILD_ID LICENSE README.txt RPMS SRPMS install.pl ofed.conf uninstall.sh
[root@localhost OFED-1.5.3-1.0.0]# ./install.pl
(※省略）
[root@localhost OFED-1.5.3-1.0.0]# ls -R RPMS/centos-release-5-5.el5.centos/i686/
RPMS/centos-release-5-5.el5.centos/i686/:
libibverbs-1.1.4-1.23.g6ccf63e.i386.rpm libmthca-1.0.5-
0.1.gbe5eef3.i386.rpm
(※省略）
このrpmファイルをXenServerにコピーすると、rpmコマンドでインストールで17
#jitakusan #osc11tk Page

普通のNICならば、
XenServerの管理情報にNICを登録
仮想スイッチ（Linux BridgeやOpen vSwitch
）はEthernet用のため、IPoIBの場合は仮想
スイッチを使わずに通信させる
＝先ほどのCentOSと同様に、ifcfg-ib0を作成


XenServerのGUIメニューで必要事項を記入
- SR名
- NFSサーバの情報
- アドレス
- パス
- NFSオプション


Infinibandも安価に試せる
- HWのライフサイクルが1周したものは
大抵中古が出回っている
- 今回は手っ取り早く使ってみただけで、
もっと色々できる。

私も初心者です
- まず、手を動かして触ってみる！


OSC 2011 Tokyo/Fall 自宅SAN友の会（Infinibandお試し編）

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à OSC 2011 Tokyo/Fall 自宅SAN友の会（Infinibandお試し編）

Similaire à OSC 2011 Tokyo/Fall 自宅SAN友の会（Infinibandお試し編） (20)

Plus de Satoshi Shimazaki

Plus de Satoshi Shimazaki (20)