1. 3章｢インストールと環境構築｣
を Nested KVMでやってみた。
Cloudstack 読書会1 LT
株式会社 クレヴァシステムズ
松浦 直樹

2. 自己紹介
株式会社 クレヴァシステムズ
・都内のSierです。SAP、ECサイト構築
Web系開発、、、インフラ周りの構築/運用をやっていま
す。
(当然、、cloudstackも頑張っています。)
松浦 直樹
基本、Windows系サーバエンジニアです。
XenAppを利用したSaaSサイトの運用やっています。
http://kumozaru.com というサイトやっています。
現状まったく更新できず。。良いCMSがあったら教えてください。
HWレイヤからcloudstack構築までのチュートリアルを公開した
い。。。
と思っています。
自作プライベートクラウドとか、、やっています。

3. 今回は、以下の環境で
やってみました。
超低価格で頑張った
自作クラウド。

4. Cloud stack検証環境
Nested KVMでやってみる。(本題)
幾つか勉強用とか検証用に
環境を作りたい。
3つ、、４っ、、、作りたいで
す。

5. 普通に作ると・・・
baremetal-Server
& Primary
SecondaryStorageServer
Management
Server
& DB
Management
Server
& DB
Management
Server
& DB
Compute-Node1 Compute-Node2 Compute-Node3
Management
Server
& DB
Compute-Node4
物理サーバー
5台も必要、、、金かかる割に
大して面白い環境つくれな
い。。。。。。

6. baremetal-Server
& Primary
SecondaryStorageServer
Manage
ment
Server
& DB
Manage
ment
Server
& DB
Manage
ment
Server
& DB
Manage
ment
Server
& DB
こんなの出来たらよいです
ね・・・
物理サーバー
仮想インスタン
ス
VM2
HostNode
仮想インスタン
ス
VM1
HostNode
仮想インスタン
ス
VM3
HostNode
KVM
物理 H/W
Console Proxy
(SystemVM)
仮想インスタン
ス
VM1
HostNode
BIOS Intel-VT
仮想支援
User-Instance Secondary
StorageVM
(SystemVM)
VirtualRouter
(SystemVM)
仮想支援 ｖｍｘ。。。
ココいらへん
がNested
CU
s
S
e
V C)U
s
S
e
V CU
s
S
e
V CU
s
S
e
V
2台ででき
る。
これってeco?
2
層
目
1
層
目

7. baremetal-Server Hostname：cloud-infra1.edi.local SecondaryStorageServer baremetal-Server Hostname：cloud-infra2.edi.local PrimaryStorageServer
Internet
Management
/DB/storage
mgmt1.edi.loc
DB Server
db1.edi.local
Router(Vyatta)
192.168.11.0/24
User-Instance
Console
Proxy
(SystemVM)
Secondary
StorageVM
(SystemVM)
VirtualRoute
r
(SystemVM)
192.168.1.0/24 192.168.2.0/24
10.0.0.0/24
X.X.X.X
User-Instance
実際構成
2物理サーバーで、3セット
ストレージは、物理サーバー
自作クラウドの全8台中
2台で検証環境として構築
Hsotname:
ssh.edi.local
SSH xxx22 (ポート変更)
Management
mgmt1.edi.loc
ComputeNode
node1.edi.loca
l
ComputeNode
node1.edi.loca
l
DB Server
db1.edi.local
Management
mgmt1.edi.loc
al
ComputeNode
node1.edi.loca
l
Console
Proxy
(SystemVM)
Secondary
StorageVM
(SystemVM)
VirtualRoute
r
(SystemVM)
Console
Proxy
(SystemVM)
Secondary
StorageVM
(SystemVM)
VirtualRoute
r
(SystemVM)
User-Instance User-Instance User-Instance User-Instance
10.0.0.0/2410.0.0.0/24

8. Manage
ment
Server
& DB
cloudstack徹底入門の
インストールなら、、1台ででき
る。
物理サーバー
1台のみ
KVM
物理 H/W
Console Proxy
(SystemVM)
仮想インスタン
ス
Host用Node
BIOS Intel-VT
仮想支援
User-Instance Secondary
StorageVM
(SystemVM)
VirtualRouter
(SystemVM)
仮想支援 ｖｍ
ｘ。。。
ココいらへん
がNested
CU
s
S
e
V
Management Server
& DB
& PrimaryStorage
& SecondaryStorage
1
層
目
2
層
目
物
理
層

9. とは言ってみたものの、、、
カーネル 2.6xでは未対応な機能なの
で、
CentOS・・・ハードル高し。
Ubuntu｡｡｡出来るらしい。
Fedoraも大丈夫。
Intel系は、3.x(3.2?)以降で利用可能。
AMD系は、2.6以降で利用可能?

10. やっぱりココは、、、
CentOSでやってみたい。
カーネルをUPしてまでCentOSでやる意味が
あるのかは、、わからない。
のですが、、
諸事情もあり、、、

11. ということで、CentOS 6.3ベー
ス
でやってみました。
環境構築(Nested)で参考にさせていただいたサイト
http://oss.fulltrust.co.jp/?p=501
iOSSオープンソースをもっと身近なものに
CentOS6.3でKVMのネストを出来るようにする
とても参考になりました。
というか、Nested KVMについては、
ほとんどこちらのサイトの内容のままです。

12. KVMモジュールのNested対応化手順(大まかな流れ)
●KVMのインストール(入っていればスキップ)
● qemu-kvmの最新化
→ qemu-kvm-1.2.0を利用
●カーネルのバージョンアップ
→カーネルバージョン3.6を利用
● Nested用 KVMモジュール入れ替え
→ kvm-intel 、 kvm
●ネストの設定
→kvm.confの編集

13. KVMモジュールのNested対応化手順(ざっくりバージョン)
1.(KVMのインストール)
→OSセットアップ時に組み込んでいれば不要
2.qemu-kvmの最新化
→ qemu-kvm-1.2.0を利用
→ curl -L -o qemu-kvm-1.2.0.tar.gz
http://sourceforge.net/projects/kvm/files/qemu-
kvm/1.2.0/qemu-kvm-1.2.0.tar.gz/download
3.qemu-kvmを入れ替え
→2.で入れた最新版のqemu-kvmの有効化をするのですが
参考にさせてもらったページの内容から、
若干書き換え(パスの書き換え)がありました。
(後日資料をUpdateします。)

14. 4.カーネルのバージョンアップ
→# yum install ncurses-devel -y
→# curl -O http://www.kernel.org/pub/linux/kernel/v3.0/linux
-3.6.tar.xz
5. 新しいカーネルを利用するための準備(既存の設定を利用)
→# cp /usr/src/kernels/`uname -r`/.config .
→# make menuconfig (変更なしなので、esc*2、yesで完了)
→# echo "CONFIG_SYSFS_DEPRECATED=y" >> .config
→# echo "CONFIG_SYSFS_DEPRECATED_V2=y" >> .config
→# make bzImage && make modules && make modules_install && make
instal
6.OSの起動設定を確認とgrub.confの設定。
→ # vi /etc/grub.conf

15. 7.Nested KVMモジュールのインストール
→カーネルバージョンに合わせたモジュール
(今回は3.6)を使います。
→ curl -L -o kvm-kmod-3.6.tar.bz2
http://sourceforge.net/projects/kvm/files/kvm
-kmod/3.6/kvm-kmod-3.6.tar.bz2/download
8.元のモジュールの停止
→ # modprobe -r kvm-intel
→# modprobe -r kvm
9.新モジュールの読み込み
→新しいモジュールをコピーし、modprobeで読み込みま
す。
→# modprobe kvm
→# modprobe kvm-intel nested=1 (nested=1を忘れない。)
→# modinfo kvm-intel

16. 10.kvm.confの編集
→vi /etc/modprobe.d/kvm.conf
→options kvm_intel nested=1
詳細は、http://oss.fulltrust.co.jp/?p=501 さんのサイトの内容で。。。。ばっち
りです。
(2か所ほど私の環境では編集箇所があったので、後日、修正箇所のみ補足し
て、資料をUPしておきます。)
再確認したところ、、修正箇所なしでOKでした。。。
NestedKVMの動作としては、
KVM on KVM 状態で動作することを
確認できています。
わりと動います。

17. clodstackは、、動いたの?
実際にCloudStack徹底入門の3章
インストールと環境構築
をやってみました。。。本当に書籍をトレースしてみました。
特にはまることなく、、、作業もでき、、、
ゾーンの作成までできました。。
NFSをインストールした後、、、
(/etc/idmapd.conf の Domain = ドメイン名 の編集)
chkconfig nfs on
chkconfig rpcbind on
reboot
はやっておいたほうが良いかも。
p100の、、9ブリッジの作成は、、IPADDRや、DNSの設定は、パラメータ一覧を追
う。。
図中の内容は、読み替えが必要かも?

18. 特にはまることなく、、、
ゾーンの作成まで、できまし
た・・・・
ゾーンの作成まで、、できました・・・

19. 特に問題なくインストールが、、終わった、、、
と思っていたら、、、、
SystemVMがStartingの状態。。。。
お約束すぎる。
ある意味よくできた感じもします。。。

20. ということで、、
7.3.3章
トラブルの例
システムVMが起動しない。
につづく。。。。
NW (インターネット接続ルーター)の設定を間違えてました。
(Templateが落ちてこない。)
これは関係ありませんでした。
というところで時間切れでした。。。。残念。。

21. いじょうです。
ありがとうございま
した。
後日資料アップします。

22. その後、、、
Cloudstack動いてま
す。
ただし、何点か修正しています。

23. 修正箇所(システムVMがrunningにならない件)
1. Hostノード上で、PrymaryStorageがマウントされていな
い。。。
⇒iptablesを無効化したところ、mountするようになりました。
本当はもう少し丁寧に確認したいところですが、、、時間
もなく。。
2.Nestedした、hostへのCPU割り当て数を変更
⇒システムVMの起動がNG
（HostノードでPrimayStorageがマウントされているのに、
やっぱりシステムVMが起動してこない。)
⇒単純に仮想CPUの割り当てを増やしてあげたところ、
すんなり起動するようになりました。最初は割り当て数=1
でした。

24. おまけ
772、、、、773・・・・・

25. おまけ2 (仮想のhost用マシンの設定)
twitterで、カーネル 3.7.1で、OKという情報をいただきましたので、、、、、、
試してみようかと。。。

26. 本資料について
• 本資料は、cloudstack徹底入門初版(翔泳社) の内容を参考にしています。
• 設定について、書籍に記載されている内容を設定しているつもりですが、
誤読による設定ミス等あるかもしれません。内容については、無保証で
す。
• 本資料を利用したことによるあらゆる損害に対して、筆者は一切保障をい
たしません。
参考資料程度でご利用ください。