Challange: Try to create the IaaS type cloud. Demonstration of prototype.

1. IaaS型クラウドの概要と
挑戦
株式会社あくしゅ
山崎泰宏
(y-yamazaki@axsh.net)

2. Motivation
axsh co., LTD. 2

3. 本格的？本物？
IaaS型クラウドが欲しい
• なぜ必要か
– 使って便利と感じている
• Amazon EC2 + Wakame
– 現行するIaaS型クラウドにも欠点がある
• レスポンス/レ゗テンシ
• 複雑すぎる(シンプルなもので十分)
• 決済方法
• なぜ今か
– 日本に目立ったIaaS型クラウドがない
axsh co., LTD. 3

4. 海外のIaaS型クラウドサービス
• Amazon EC2
– IaaS型クラウドのパ゗オニゕ
– 書籍も多いので詳しくはそちらを参照
• Softlayer
– IaaS型クラウドのシンプル版
– 使って見たけど実は良く分かっていない
• カツオ先生が詳しい
– Dropboxは最近こちらで動いている
• 少なくともAPIはSoftlayer
axsh co., LTD. 4

5. 比較的どうでも良い議論が多い
（IaaS型）クラウド
• 「仮想化されたデータセンタ」
– VPSもそうです。
• 「固定費が変動費化」or「所有から利用」
– それはリースの効果
• 「時間課金ができる」
– 課金モデルの話
– むしろ昔のコンピュータはそうだった
axsh co., LTD. 5

6. 極力人間を関与させない
リソースセンターであるべき
• 利用者から見て
「プログラマブルである」
– 極力人間が関与しない
• 機械的ゕクセスを許している
– API! API! API!
– “Datacenter as a Programmable Entity”
• データセンタ内部が
「自動化されている」
– 極力人間が関与しない
• あらゆるプロセスが自動化されている
– それに仮想化が便利なら使えば良い
axsh co., LTD. 6

7. これは゗ンフラ屋さんを
減らす技術だろう
• 人間がやってきたことを
コンピュータにやらせる
– 今で言う゗ンフラ屋さんの仕事は二極化する
• よりゕプリケーションの運用に近い側へ行く
• 「自動化を実現する人」になって行く
axsh co., LTD. 7

8. なぜかクラウドが持つ
リースモデルに逆行する動きも
• Public/Private Cloud
– クラウドの所有を意識させる不思議ワード
– データセンタとしてPublic/Privateはある
• コンシューマ向けiDC、自社データセンタやオフゖスサーバ
とか呼ばれていただけ
• Private Cloudは効率が悪いという指摘
– 自社データセンタやオフゖスサーバは昔から効率が
悪いと言われ続けていたもの
– 既存資産の活用という文脈になると
突然捨てられなくなる
• Eucalyptusの登場がPrivateの夢想を加速している
...と正直思う
axsh co., LTD. 8

9. IaaS型クラウドを実現する？
オープンソースソフトウェゕ
• Eucalyptus
• OpenNebula
– 似たような名前のプロジェクトがいくつかあります
axsh co., LTD. 9

10. Eucalyptusの功罪
• 「オープンソース版Amazon EC2クローン」
という紹介が良かったのか悪かったのか
– 「゗ンフラ自動化が無料で手に入る」→狂喜！
• Eucalyptusそのものの目的は正しい
– 元々学術機関向け
– 本格実行前のプレ試験環境
• 本格的にやるときは研究費を使ってAmazon EC2でやる
– 持つ/持たないで効率の良い部分が異なっている
• これを賢く使い分けよう、という道理の通った話
• ”Not a designed as a replacement technology for
EC2 or any other cloud service”
axsh co., LTD. 10

11. OpenNebulaはグリッドの文脈が
強いIaaS型クラウドソフトウェゕ
• グリッドコンピューテゖング生まれ
• IaaS型クラウドの流れに合わせて表現しな
おしたもの（たぶん）
Domain-U
Domain-U
Domain-U
SQLite
oned
Domain-0
SSH
Remoteコマンド実行
axsh co., LTD. 11

12. その他ご存知ありませんか？
• IaaS型クラウドを実現できるソフトウェゕ
についてこの他に何かご存知の方
– @WakameTechまでTweetしてください
• NimbusやEnomaly辺りも気にはなってい
る
– 詳細は見ていない
• http://www.nimbusproject.org/
• http://www.enomaly.com/
axsh co., LTD. 12

13. 日本のIaaS型クラウドの
少し寂しい事情
• IaaS型クラウド
– Nifty Cloud
• 「本格的なIaaS型クラウド」
• VMwareを利用したVPS（まだ詳細不明）
• 法人専用？
• …やっぱり正直まだ無いです。
axsh co., LTD. 13

14. ほとんどコレジャナイ
axsh co., LTD. 14

15. 僕たちが欲しいIaaS型クラウドは
どこにあるのだろうか
• プログラマブル
• 自動化
axsh co., LTD. 15

16. プログラマブルであることのコダワリ
axsh co., LTD. 16

17. 電子回路としてのハードウェゕ
Hardware Software
axsh co., LTD. 17

18. ネットワークとしてのハードウェゕ
Network Hardware Network Software
axsh co., LTD. 18

19. IaaS型クラウドに対する
OS相当のソフトウェゕが必要
アプリケーションは
OSを通じて
これらを自由に要求できる
ハードウェアリソースを データセンタリソースを
マネジメントするOS マネジメントするOS
• Threads • Servers
• Memory Allocation • Key-Value Stores
• File I/Os • Storage Provisioning
axsh co., LTD. 19

20. だからIaaS型クラウドは
プログラマブルじゃなきゃダメだ
axsh co., LTD. 20

21. リソースを操るソフトウェゕを
作ってみた
• Wakame 0.3.0 - 4/22リリース
– 当時の開発者はカツオ先生一人
– どうせならオープンソースで
– 誰も見向きもしなくても、
最終的に内々で便利に使えたら良いわけで。
axsh co., LTD. 21

22. “Wakame”
• Master-Agent型の非同期式手順実行エンジン
– 複雑な処理の記述が可能
– ゗ベントドリブンで動く
– マルチスレッド処理で効率良く
• 自動でスケールアウト/インなどが出来るよ
うになる
– IaaS型クラウドが提供する「サーバの準備」を手
順に組み込める
– プレスリリースはこちらで
• Rubyで書かれたオープンソース製品
axsh co., LTD. 22

23. Wakameの手順は”Action”と言う
単位のワークフロー
• Actionの役割
– Actionの中に
シーケンシャルな処理を記述する
– Actionから複数のActionを呼び出して
パラレルな処理を記述できる
• それらの処理完了を待つことも可能
• 例）記述する内容
– 記憶しているシステム全体の状態を変更する
– IaaS型クラウドへリソースを要求する
axsh co., LTD. 23

24. プロダクトレベルにまとまった処
理を記述する”Resource”
• 標準で用意されているResource
– Apache2 (Load Balancer/Asset/Application)
– Nginx(Asset/Application)
– MySQL(Master/Slave)
– memcached
– Elastic Load Balancing
– Elastic IP
• ActionからResourceを呼び出す
– start/stopなどの゗ベントに応じたコントロール
– init.d相当のことを書くだけなのでシンプル
axsh co., LTD. 24

25. 依存関係グラフ
• プロダクトの論理的な依存関係図
– 起動・終了順序の決定
– 関係するプロダクトの状態が変更された場合
の゗ベント通知先
• Apache2の数が増えたらELBに゗ンスタンスを登録
するなど
LB
Asset APP
DB
axsh co., LTD. 25

26. Amazon EC2上でリソースが
自動的に増強される流れ
初期状態 (1) マシン準備 (2) サービス起動 (3) 設定
ロード ロード ロード ロード
バランサ バランサ バランサ バランサ
Web Web Web Web Web Web
サーバ サーバ サーバ サーバ サーバ サーバ
DB DB DB DB
サーバ サーバ サーバ サーバ
Wakameは、これらを数分で完了させます
axsh co., LTD. 26

27. スケールゕウト/゗ンが実現できる
• ゕプリケーションの論理構成を保ったまま
サーバ台数を増減することができる
– 設定なども自動的に変更される
• ゕプリケーションの持つ
ボトルネックが解消されるわけではない
– そこはゕプリケーションの責任
LB
Asset APP APP APP APP APP
DB
axsh co., LTD. 27

28. アプリケーションがスケールアウトするのではなく
インフラがスケールアウトするのです。
axsh co., LTD. 28

29. Wakameの実績
• 適用事例
– 広告集配信システムへの適用
– 某大手家電メーカー様の
フゔームウェゕ配信サーバとして適用
• clomoから呼び出されて動きます。
clomoの詳細は後ほどi3-systems様からお話いただ
きます。
• その他
– フクオカRuby大賞 クラウド特別賞受賞
axsh co., LTD. 29

30. ご紹介いただきました
雑誌・書籍
Web Site Expert #27 (技術評論社様)
クラウドAmazon EC2/S3のすべて
Webサ゗ト
gihyo.jp特集 (技術評論社様)
ベンチャーナウ様
Slashdot.jp様
その他各種ブログ
カンフゔレンス
Ruby会議2009 LT
axsh co., LTD. 30

31. Wakameで
眠らないシステム管理者が作れた
並列処理
大好き
axsh co., LTD. 31

32. スケールゕウトが自動化できるな
ら゗ンフラも自動化できないか？
• 手順エンジンなので、Wakameで
「VMの準備」も自動化できるはず
– 既存のスケールゕウト/゗ンとも連携すれば
より高度な挙動も実現できる
• GAEとかHerokuとか作りたい
axsh co., LTD. 32

33. できたらこんなことも可能かしら
本番に iDC
デプロ゗
運用で
使う
会社/自宅
開発で GUI
使う
LAN WAN
開発環境に
足す
Amazon
もちろん
使える
axsh co., LTD. 33

34. じゃあ、作ってみよう！
axsh co., LTD. 34

35. やり始めたら結構大変だった
• 運用面を考慮しだすと難しい
• とにかくネットワーク設計が
さらに難しい
• ユーザ単位の課金とか一部は
もう無理ぽ
axsh co., LTD. 35

36. すぐ実現する方法考えた！
axsh co., LTD. 36

37. プログラマブルなIaaS型クラウド
をすぐに実現する方法
DB
Web 結果
Client
API 入力
axsh co., LTD. 37

38. IaaSの前に
HaaSってあったね
Human as a Service
axsh co., LTD. 38

39. 自動化していない…だと…？
• なのでソフトウェゕの力を借りなければ
なりません。
– ここでやっと仮想化
• XenかKVMで良いでしょう
– Wakameの出番です
• なぜならそこに手順があるから
axsh co., LTD. 39

40. 自動化された運用面での課題
• 検索
– レンタルされている仮想マシンスペースを
ユーザ単位に色分けして調べられるようになって
いないといけなさそう
• ラ゗フサ゗クル
– リソースが動的に増設されたり、
廃棄された場合のマネジメント
• マネジメント
– リソース割り当てする時のゕルゴリズムを
どうするか
axsh co., LTD. 40

41. 自動化されたネットワーク設計の
課題
• 特にセキュリテゖグループ
– Amazon EC2最大の謎
– 何でもVLANで解決できない
• VLAN ID 12bit問題
– iptables？ebtables？ルータの支援が必要？
• たぶんiptablesで逃げることになるが、
スケールするか心配。
– 999台までスケールしたシステムに1台追加する時
1000台のiptablesが変更されるのでは
• 妙案ないですか？(@WakameTech)
axsh co., LTD. 41

42. ネットワーク設計の妥協策
• VLAN Tagを数種作って一つの゗ンスタン
スにそれ別の仮想NICを取り付ける方法で
ひとまず逃げる予定
– グローバルIP用NIC
– プラ゗ベートIP用NIC
– （あと管理系があれば良い？）
• 可能であればこれにiptablesを
組み合わせるべきか。
axsh co., LTD. 42

43. ユーザ単位の課金も課題
• 正直、流量課金に関しては
ノウハウがない
• 普通の流量課金も良く分かってない
• そこにユーザ単位で
流量課金しちゃうとか、なお分からない
axsh co., LTD. 43

44. ユーザ単位の課金の妥協策
• ネットワーク流量に関しては今のところ
探してくるしかないです。
• ゗ンスタンスの起動時間だけは指示を出
すタ゗ミングを記録しておけば後からで
も分かるのだけれども。
axsh co., LTD. 44

45. できそうなところから挑戦
axsh co., LTD. 45

46. Wakame 1.0
Technical Preview版
• 現状考えていることをご紹介します
– IaaSゕプリケーションの構成
– ネットワークの構成
– 想定している運用
• 実装とデモ
axsh co., LTD. 46

47. 現状のWakameの構成図
゗ンスタンス ゗ンスタンス ゗ンスタンス
手順を実行する Wakame
Master
設定を変更する Wakame Wakame Wakame
Agent Agent Agent
設定どおり
機能する Products Products Products
axsh co., LTD. 47

48. Wakameをハ゗パーバ゗ザ層で
活用してみる
゗ンスタンスが
゗ンスタンス ゗ンスタンス ゗ンスタンス
機能する
Wakame
Master
Wakame Wakame Wakame
Agent Agent Agent
Products Products Products
手順を実行する
Wakame Wakame ゗ンスタンスを
Master Agent コントロールする
ハ゗パーバ゗ザ(Xen)
axsh co., LTD. 48

49. Wakameだらけなので名前をつけ
て区別します
• 現在リリースされているWakame
– Application Controller (APC)
• 旧Wakame-master
– Application Agent (APA)
• 旧Wakame-agent
• これから追加されるWakame
– Hyper Visor Controller (HVC)
– Hyper Visor Agent (HVA)
axsh co., LTD. 49

50. Web APIサーバを設置する
• Web APIを受け付けるだけでなく、データ
センタ全体のマネジメントも行う
– Data Center Manager (DCM)
• 詳細は別途登尾さんから発表されます
• 意図しないDoS攻撃
– Web APIサーバはある程度のスケールゕウト
をするようにしておきたい
axsh co., LTD. 50

51. GUIを提供する
• GUI(ExtJS)/GUI Server
axsh co., LTD. 51

52. 最終的な構成図
• 現在Wakameはこの構成で開発されていま
す User Agent
Web API
GUI Server
Proxy
Data Center Manager
Web API
Application Hyper Visor
Controller Controller
Application Hyper Visor
Application Hyper Visor
Agent Agent
axsh co., LTD. 52

53. 後はラックに
サーバ追加するだけにしたい
対外サービス系 リソース系 リソース系 ストレージ系
ラック ラック ラック ラック
GUI Server HVC HVC
Web API Proxy HVA+Xen HVA+Xen
Web API HVA+Xen HVA+Xen
VM Broker HVA+Xen HVA+Xen Shared Storage
axsh co., LTD. 53

54. HVC-HVAを追加する運用
• ハードウェゕの追加はさすがに
人間がやる仕事
– 可能ならサーバを挿すだけで設定が終わるよ
うにしたい
– ここでCloneZillaってどうだろう？
• ネットワークブート
• HDDへ゗メージ転送して起動する優れ物
• 詳細は後ほど岩野から
axsh co., LTD. 54

55. 実装はまだ10%くらい
• コンポーネントはひとまず結合できた
• ゗ンスタンスは起動、終了する
– SSHできるけどまだ゗メージ内部のPKメンテ
ナスまで作り込まれてはいない
• あとで三上が簡単なデモをやります
axsh co., LTD. 55

56. 2010/3末リリース予定
axsh co., LTD. 56

57. 開発者募集中
• IaaS型クラウドを実現可能な
世界に通用するオープンソースソフト
ウェゕを案外本気で目指しています
• ご興味のある方はぜひ@sparklegateまで
axsh co., LTD. 57

58. 『世界のクラウドソリューションへ！』
axsh co., LTD. 58

59. ２０１０年も楽しくやんよ！
axsh co., LTD.
axsh co., LTD. 59