OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development status

OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～近況開発報告

OpenStack + KVM + IPv6 = お名前.com VPS
∼開発担当者が語る、ここだけの裏話 2013∼
近況、開発報告

GMOインターネット株式会社
システム本部サービス開発部システムインテグレーションチーム
郷古直仁

OSC 2013 Spring, Tokyo: 2013/02/23
http://www.slideshare.net/chroum/2012-osc-kyoto-openstack-vps-kvm
http://www.slideshare.net/chroum/openstack-vpskvmonamecom2snapshot

1


アジェンダ
• ◎まずは自己紹介
• ◎お名前.com VPSとは
‒ グルーブのほかのサービス紹介、製品の位置付けなど
• ◎現在のVPSのシステム構成概要
– OpenStack Diablo世代の商用利用部分(Nova compute, Nova
Network, Keystone, Glance)
• ◎新環境開発中; Ubuntu 12.04.2 LTS + Ubuntu cloud
– Ubuntu採用のメリット(何が出来る?)、デメリット、trunk Grizzly
• ◎Quantum Network (Open vSwitch plugin)
– 検討中のネットワークモデル
• ◎NIC(IP)追加機能(動的NIC追加、削除)
• ◎IPv6 IPv4 Dual Stack Network
• ◎まとめ、今後の展開とか

2


まずは自己紹介

• 郷古直仁 (ゴウコナオト, Naoto Gohko)
– Twitter: @naoto_gohko , Facebook:
• 所属: GMOインターネット株式会社
• 部署: システム本部サービス開発部システムインテグレーションチーム
• なにをしているのか: GMOグループ内のSI-er的な感じのチーム
• 関わっているもの:
– Bekkoame INTERNET, 3WEB, 社内webとmail, その他
• お名前.com web系システムなど
– お名前.com VPS VZ(Virtuozzo) ; インフラとか
– GMOアプリクラウド; インフラとか
– お名前.com VPS KVM ; インフラとか

3


GMOインターネットの仮想化サービス
(1) お名前.com VPS VZ (2) GMOアプリクラウド
Virtuozzo(OpenVZベース)、
OS仮想化レベル、swap無し、リソースは
EL6,
Best Effort
KVM運用
自由度、リソースきっちりノウハウ等
お名前.com VPS KVM
Linux KVMでの仮想化
一般ユーザに使っていただけるもの KVM、ソーシャルアプリ、ソーシャ
ユーザのリソースはきっちり分かれているVPS ルwebの運用など、アプライアンス
自由にインストールできる仮想環境の提供のLB(Brocade ADX)がある。イ
メージテンプレート展開、専用サーバ
VDI, リモートDesktop環境として影響
のハイブリッド運用、Fusion-IO専
(3) お名前.com Desktop クラウド用サーバ、その他カスタマイズ構成可

Hyper-V3, Thin ClientでWindows8開発など Hyper-V VM, Windows専用提供

GMOインターネットグループの仮想化サービス
GMOクラウド VPS GMOクラウド Public (Xen, KVM) SQALE (payperboy&co)
KVM、月額課金、Plesk 従量制、API開発機能あり PaaS従量制、API開発機能あり

4


GMOアプリクラウド
http://cloud.gmo.jp/
・ソーシャルプラットフォーマーなどに向けたアプライアンスLBがある仮想/
専用サーバハイブリッドクラウド
・Fusion IO ioDriveも専用サーバに選択可能
・東京Unit, US-Unitが選択可能

マスコット「美雲あんず」
TGS 2012で大人気

5


GMOアプリクラウド
当初Xen (CentOS 5.3 dom0 + Xen 3.2)で開発

Scientiﬁc Linux / CentOS 6.0 リリース後
KVM仮想化対応 (現在 CentOS 6.3系稼働)

==> VPS-KVMの開発につながった
その後、OpenStack Diabloリリース後に
「お名前.com VPS KVM」へ

開発/運用チームも同じチームが担当
技術と両方の製品の向上へ

6


SQALE (<グループ>Payperboy&co, PaaS)
Rubyでプログラムをすぐgithubからdeployしてweb
を構築できるサービス

・Ruby on Rails、Sinatra対応
・PaaSならでは

==> web, dbなどすぐ
deployして使い始める
ことができる

7


お名前.com VPS VZ (Virtuozzo)
VPS VZ(Virtuozzo := OpenVZ製品版)

コンパネから共用サーバの用にメールアドレスやVirtualHostの設定ができる
がユーザの環境は独立
OS仮想環境 (OSのアプリケーション環境のみ仮想化)

ただし、制限が多い
・Linux以外は使えない (FreeBSDとかReactOSとかはダメ)
・Swapとか使えない (現在はOpenVZ系は仮想swap対応できる)
・disk領域を自由に使えない
・プロセス単位のリソース制限により、HostがOOMkillerをかける
・コンソール機能がない

VPS KVMではそのへんの欲求不満を解消
==> OpenStackにもコンテナ(OpenVZ, LXC)使って統合したい

8


◎お名前.com VPS KVMとは

こんな機能があったらなぁ (エンジニア、利用者としてほしいことを検討、開
発側としてこんなのnative KVMなら使えるのに)

・ISO uploadでの自由なOSインストール、Live CD boot
・http/https/sshのみで接続が可能
・コピペ可能なシリアルコンソール
・virtIO ON/OFF
・GMOアプリクラウド実装されているイメージステージング機能(イメージテ
ンプレート)ほしいな
・VIFのセキュリティ(spooﬁng対策とか、IP固定利用とか)
・REST APIほしいな

幾つかはOpenStack Diabloが使えそうだ(当時)
お名前.com VPS KVM誕生

9


◎現在のVPSのシステム構成概要
コンパネ系web (.Net + IIS) Windows Server

商材DB (mysql, Oracle) 課金とか << VMに対する月額課金を基本、帯域課金無し

管理系サーバ (Linux KVMインスタンス)
websocket-VNCクラスタ(noVNC)
ssh/html5 consoleサーバ << Diabloでオワコン、anyterm拡張で復活
sftpサーバ
rabbitmqサーバ
dhcpサーバ << IP固定割り当ての為 ISC dhcp + ldap
ldapサーバ(dhcp, ssh)
nova/keystone DB(mysql)サーバ << keystoneはテナント管理しない
nova Manage/APIサーバ/Glance << APIサーバはコンパネアクセス、Glance
は初期イメージのみ保存
ISO upload storage (GlusterFS, NFS)

Linux KVM (nova Compute) CentOS 6.x
nova Compute, collectd, kvm << コンパネ用のVMリソースグラフの自動生成

10


お名前.com VPS KVM ネットワーク
Internet

コンパネ系

L3 SW
L3 SW
API / Manage
コンパネweb (.Net)
サービス系 API / Manage
mysql
db
API
会員/課金 DB

API / Manage
API/nova Manage

nova Compute nova Compute
nova Compute nova Compute 管理系
nova Compute nova Compute glance

sftp console console console
sftp console dhcp vnc

RAID 10 local disk RAID 10 local disk

mq API / Manage mq
ldap mysql mq
db
nova DB
Storage keystone DB
Storage
ISO storage
(NFS)

11



Flat DHCP + VLAN bridge構成
(FirewallとかはLinux bridgeで実現しよう)
インターネット側
<=> GMOバックボーンNet(コアルータとか、その下)
<=> L3 SW(dhcp relay設定)
<=> 集線L2 SW
<=> Rack L2 SW
<=> Linux bonding(act.-stan.)
<=> Linux VLAN
<=> Linux bridge
<=> VM VIF(tap - virtio NIC)

12


Flatなネットワーク構成
Internet

GMO core backbone

L3 SW L3 SW
L3 SW L2 SW

L3 SWにて、dhcp relayでネットワーク
の異なるdhcpに接続するように設定

eth0 eth1
console nova Compute
dhcp
bond0

bridge.VLAN1
libvirt network ﬁlter
console
ldap
bridge.VLAN2
ebtalbes
bridge.VLAN3
tc htb (iproute)
LDAPでユーザのVMのMAC collectd
ADDRESSとIPの管理

eth0
VM

eth0 eth0 eth0
VM VM VM

13


◎新環境開発中; Ubuntu 12.04.2 LTS Ubuntu cloud
OpenStackもFolsom releaseされた
trunkでGrizzly開発が進んでいる

==> 現行システム(Diablo)との差分が大きくなる
==> 次のサービス環境をOpenStack Folsom, Grizzlyで開発してあたらし
い機能をやっていこう
==> Full Stack の機能での新しい展開
(Nova, Compute, Quantum, Glance, Swift, Cinder, Keystone)
==> テナント(顧客, ユーザー)のIaaSとしての自由度高める
==> OS側一新(Ubuntu 12.04.2 LTS採用)

2012/末よりFolsom環境を社内インフラとして触り始める、
2013/01よりAPIの移植開発など開始
trunk Grizzlyの機能も検証開始

14


Ubuntu 12.04.2 LTS Ubuntu cloudの採用; メリット
★メリット
- OpenStack開発チームと近い環境で開発運用のメリット(build環境)
* 使おうと思えば開発に近いtrunk Grizzlyパッケージが使える
* 修正をOpenStack側にcommitしやすくなるはず
* .deb pkgのバージョン管理とbuildの厳密さ
- kernelが新しいことでの新機能のメリット(どこまで使うか未定だが)
* KVM: Nested KVM
* KVM + Qemu: 9p(Plan9)FS[virtFS]とnetwork
* KVM, Xen, LXCが標準で仮想化として使える
nova-compute-kvm, nova-compute-xen,
nova-compute-lxc
- Quantumで必要な機能; ns(Name Space) routing
* マルチテナントでネットワーク構築時、 192.168.1.0/24とか同じ
IPアサインのネットワークを作るときに必要

15


Ubuntu 12.04.2 LTS Ubuntu cloudの採用: デメリット
★デメリット
- 開発 build環境
* .deb pkgのバージョン管理とbuildの厳密さによるもの
いままでソースコード上書きとかしていたものが、dpkgに怒られるの
でちゃんと.debのビルド運用
- Ubuntuのローカルミラーリポジトリとか作ると巨大すぎるdisk領域
* 大量セットアップで外部Mirrorとか見に行くとなんか遅い気が...
- サーバーのHardwareサポートの未成熟(Driver)
- LTSなのに 12.04.1 ==> 12.04.2 とかでパッケージバージョンが変わ
る場合とかある
* Linux kernel (3.2 >> 3.5)
* CentOSでもlibvirtとか結構変わったけどねw

意外と、まぁ、なんとかなるさぁ

16


trunk Grizzly; なぜ検証?
★ こちらの開発中にGrizzlyリリース予定、メインラインをこちらにするかも
★ 動的追加Network Interface機能が一番欲しい
- Folsomで追加予定だったらしいが、間に合わなかったとか
* 今週(2/20ぐらい)にGrizzly-3に向けたステータス>> merged
* ソースコードはQuantum, Novaそれぞれに入っていた
* trunk Grizzly Ubuntuリポジトリでボチボチ使えるようになる
★ html5SPICE
- VNCではできないコピー&ペースト、よりリッチなユーザ環境
★ Bare Metal OpenStack (Proxy compute)
- IPMIコントロールサーバーHardのImage Deploy
(NTT DoCoMo, 日本仮想化技術株式会社)
★ LBaaS; LB as a service
- Load Balancer(baseはHA Proxy, それ以外はplugin形式)
- L3(使いたくない)よりもL4, L7と現実的なシステム構成を提供できる

17


trunk Grizzly
https://launchpad.net/ openstack-ubuntu-testing/+archive/grizzly-trunk-testing

https://wiki.ubuntu.com/ServerTeam/OpenStack

$ sudo add-apt-repository ppa:openstack-ubuntu-testing/grizzly-trunk-testing

$ sudo cat > /etc/apt/sources.list.d/grizzly.list << __EOF
deb http://ppa.launchpad.net/openstack-ubuntu-testing/grizzly-trunk-testing/
ubuntu precise main
deb-src http://ppa.launchpad.net/openstack-ubuntu-testing/grizzly-trunk-testing/
ubuntu precise main

__EOF
$

Grizzly trunk testing リポジトリの追加

18


trunk Grizzly Jenkins build天気は...
https://jenkins.qa.ubuntu.com/view/Openstack_Testing/view/Grizzly/?

晴れもあれば、雷雨もあるw 総ビルド数
(jenkins build status)
>> 全ビルド 4386
まぁ、@がんばりましょう失敗 1728
@かんばりますといった状態が今
不安定 0
成功 2624
未決定 0
無効 0
中断 34
未ビルド 0

19


◎Quantum Network (Open vSwitch plugin)
Nova NetworkからQuantum Networkへ

・Open vSwitch pluginを一旦選択
==> OpenFlowコントローラーのpluginはGrizzlyを待つ(増えるから)
==> Folsom QuantumからFlat VLAN + gre tunnel networkといっ
た運用も可能

・(Open vSwitch 1.9系(最新trunk)ではVXLANも利用できる
==> Quantumではgre固定で作ってあるため、パッチ適用が必要

20


Quantum自体がSDNコントローラとして動く構成

・ gre tunnelでのEdge Overlayネットワーク構成による既存環境の
VLANを消費しない

==> Hardware SWの負荷軽減(次は10GBase-Tの採用)

==> しかし、Edge SWがOpen vSwitchになり、sFlowなどの利用
で、gre tunnel内部の状態監視と運用管理が必要になってくる

21


Quantum Folsomでの現在の問題点

==> Folsomではネットワークのメタデータ取得がL3 agentに依存
L3が無いFlat Quantum構成では cloud-init など使えないw

==> メタデータエージェントプロセスの個別起動など改修必要

==> Grizzlyで使えるようになるらしい(未検証)

22


既存のお名前.com VPS KVM ネットワーク
Internet

GMO core backbone

L3 SW L3 SW
L3 SW L2 SW

L3 SWにて、dhcp relayでネットワーク
の異なるdhcpに接続するように設定

eth0 eth1
console nova Compute
dhcp
bond0

bridge.VLAN1
libvirt network ﬁlter
console
ldap
bridge.VLAN2
ebtalbes
bridge.VLAN3
tc htb (iproute)
LDAPでユーザのVMのMAC collectd
ADDRESSとIPの管理

eth0
VM

eth0 eth0 eth0
VM VM VM

23


Quantum Open vSwitch plugin network
・ gre tunnelがフルメッシュで組
まれる
VM 1 VM 2 VM 1 VM 2
>> greは1 hopで接続が必要な為

・ovs ノードが増えた時のメッシ
10.0.1.3 10.0.1.4 10.0.1.5 10.0.1.6 ュ構造から挙動はまだ不明
OVS br-tun OVS br-tun >> ノード数 =
Compute + Net Node
OVS br-int Compute Node Compute Node OVS br-int

・gre tunnel内部のOVS VLAN
の数は?
OVS br-tun OVS br-tun
Network Interface
iptables
ip6tables
patch port + OpenFlow rule

8.8.0.2, … 8.8.0.1
GRE
Floting IPs Public IP

10.0.1.1
WAN
DHCP server 8.8.0.1
10.0.1.2/24
OVS br-int OVS br-int
DHCP Node Network Node

24


◎NIC(IP)追加機能 (動的NIC追加、削除)
trunk Grizzly;
Change I4f8f677a: Add support for network adapter hotplug
https://review.openstack.org/#/c/21819/1/

これまでのOpenStack FolsomまではNICの数はVMの接続するNetwork
の数で固定されていた

==>> あとから、NICを追加(nova)して、ネットワークに接続(Quantum)す
る機能
==>> これをFolsomにバックポートするのか、Grizzlyでの開発に進めるかだ
いぶ大変度が違う

<< JenkinsテストコードはIPv4しか無いです(キリッ)
<< 先ほどのtrunk GrizzlyのJenkins天気では、Folsomバックポートか、
または独自実装かも

25


顧客(テナント)ネットワーク構成(docs.openstack.org)
Simple Flat Network Model

Physical Router
Simple Flat Network Model

gw: 10.0.0.1
これまでのVPSの構成
Shared Network
10.0.0.0/24

Tenant A Tenant B Tenant A Tenant C
vm 1 vm 1 vm 2 vm 1
10.0.0.2 10.0.0.3 10.0.0.4 10.0.0.5

Mixed Flat and Private Network

Physical Router

gw: 10.0.0.1
Mixed Flat and Private
Shared Network
10.0.0.0/24
Network Model
NIC追加などができると、
Tenant A Tenant A Tenant C Tenant B Tenant B

このような構成が実現で
vm 1 vm 2 vm 1 vm 1 vm 2
10.0.0.2 10.0.0.4 10.0.0.5 10.0.0.3 10.0.0.6
172.20.0.2 172.20.0.4 172.21.0.3 172.21.0.6

きる
Tenant A Private Network Tenant B Private Network
172.20.0.0/24 172.21.0.0/24

26


◎IPv6 IPv4 Dual Stack Network
・OpenStack Folsomを見た限りでは、IPv6 onlyのネットワークは構築でき
なさそう

・かと言って、IPv6 IPv4 Dual Stack Networkも
Quantumのdhcp agentがdnsmasqを起動する所で落ちる
==> dhcpを諦めて手動で割り当てれば疎通まではいける
==> dhcp agentからISC dhcpを起動するように修正する(IPv6, IPv4の２つ
のプロセスをDual Stackの一つのネットワークにそれぞれ起動)
==> そもそも、ISC dhcp + openldapでIPv6を払い出す << 今ここ検証

更に問題点
・IPv6にはlibvirtのNetFilterが適用されないようだ(コードの存在無し)
ip6tablesにルールを入れる部分
・IPv6の悪用対策(ノウハウも)
・複数IP対応のルール、IPv6のネットワーク[ /64 ]での追加IPv6払い出し対応

27


IPv6 IPv4 Dual Stack Network
IPv4 : 32bit
192.168.32.24/24
>> ドット . で区切られた
192 : 8bitの10進数表記(0 ... 255)=2^8

IPv6 : 128bit
2400:cafe:beef:a00f:0000:0000:0000:0001/64
>> コロン”:”区切切り :
“2400” : 1桁が4bit 16進数表記 4bit*32桁で128bit

webのVirtualHostでNameBaseVirtualしているIPv4の世界
==> SNIとかのSSL NameBase Virtualもあるけどブラウザ依存
==> IPv6の世界ではすべてIP Virtualでまかなえる

28


IPv6 IPv4 Dual Stack わりあてルール(とりあえず)
IPv4 : 32bit
192.168.32.24/23
>> とりあえず、/23でGlobal IPから一つづつを割り振る予定

IPv6 : 128bit (Dual Stack側)
2400:cafe:beef:a00f:0192:0168:0032:0024/64
>> 射影アドレス(10進数)として割り当てる
>> /64で対応なので、⼤大量量に余るはず

・あまった IPv6はそのセグメントで追加IPv6 IPとして活用する予定
・Default でdhcpで払い出し
・GlobalのセグメントのみIPv6を払い出す予定(Privateは無しの予定)

29


IPv6 IPv4 Dual Stack ; dhcpd
dhcpでMAC ADDRESSに紐付いた固定IPで払い出したい

>> OpenStack dhcp agentだと、Dual Stack動作だが向かない
>> dhcp agentのDual Stack動作もいまのところ動かない
>> 一つのネットワークにIPv6, IPv4の２つのプロトコルのネットワークア
ドレスがつくようにdnsmasqの起動引数が対応してないっぽい

ISC dhcpで管理する方向で実装(dhcp agent改造?)
>> ISC dhcpでのopenldapでのデータを持たせて一元管理
>> nova, quantumでIPを割り当てた時のopenldapへの登録
>> RA(ルーターからのIPv6払い出し)は今回やらないで、IPv6はISC
dhcpdからstatelessに払い出す

この方向で改修中

30


IPv6 IPv4 Dual Stack ; dhcpd
OVS br-tun
IPv6, IPv4は別プロトコル

>> 一つのDual Stackネットワーク(VLAN)に
対して、dhcpd, dhcpv6dの２つを起動する必
要がある

ISC DHCP server
10.0.1.2/24 >> ldapのデータはdhcp(v4), dhcp(v6)の
OVS br-int
２つのグループツリーになる

ISC DHCPv6 server
2400:cafe:beef:a00f::/64

DHCP Node

31


◎まとめと今後の展開とか
・OpenStack FolsomときどきGrizzlyで開発中

・Quantumで自由なネットワーク; SDN
>> OpenFlowコントローラ採用は開発進捗次第なのかな

・Ubuntu 12.04 LTSをHost OSに採用によるメリットとか新機能とかも
予定しているかも(KVM, Qemu, libvirt, kernelまわり)

・IPv6 IPv4 Dual Stack利用のOpenStackとしてリリースまでなんとか
(泣) 改修する。需要があるかわからないけど、dnsmasqと切り替え可能な機
能の提案

・OpenStackのﬁxにも協力しやすくなった開発運用環境
>> ここは頑張っていく

32


◎まとめと今後の展開とか(2)
・10GBase-Tは2013年が普及年なんで
>> 採用します。どんどん今年から安くなってくれることを期待ａｇｅ

・それによるストレージサービスの環境も整えたい
>> GMOアプリクラウドユーザにまずはテスト提供予定
>> Gluster + Swift proxy Interface

・また、ご要望が多かったISO uploadをwebからできるようなネットワーク
構成にできそう

33


質問、要望、アドバイスなど有りましたら、ブースまでよろ
しくお願い致します

OSCでスタッフがふらついている時に捕まえてもらっても
構いません

パンフレットに60日間 1GB Plan無料トライアルの用紙
が入っていますので、お持ちください
(nginxとWordPressの活用事例記事の小冊子、
はてなの記事などもはまれています)

34


ご清聴ありがとうございました

Special Thanks!
GMO Internet Inc., System Div., SI Team and Cloud Team,
Hostingh Team

35


おまけ : TGS 2012 の様子 (GMOアプリクラウド)

「美雲あんず」仕様 Honda Fit

36

OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development status

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development status

Similar to OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development status (20)

More from Naoto Gohko

More from Naoto Gohko (20)

Recently uploaded

Recently uploaded (12)

OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development status