Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 異種クラスタを跨がる仮想マシンマイグレーション機構
Similaire à 異種クラスタを跨がる仮想マシンマイグレーション機構 (20)
Plus de Ryousei Takano
Plus de Ryousei Takano (20)
Dernier
Dernier (12)
異種クラスタを跨がる仮想マシンマイグレーション機構
- 1. ⾼高野 了了成、中⽥田 秀基、広渕 崇宏、 ⽥田中 良良夫、⼯工藤 知宏 産業技術総合研究所 情報技術研究研究部⾨門 2013年年7⽉月31⽇日 SWoPP北北九州2013 異異種クラスタを跨がる 仮想マシンマイグレーション機構
- 2. 背景 • 広域環境における仮想計算機（VM）マイグレー ション技術の重要性拡⼤大 – 応⽤用例例：災害復復旧（DR）、コスト最適化 – 先⾏行行研究：データ転送量量の削減、状態同期の最適化 2 VMマイグレーション VM VM VM 障害
- 3. 背景 • 広域環境における仮想計算機（VM）マイグレー ション技術の重要性拡⼤大 – 応⽤用例例：災害復復旧（DR）、コスト最適化 – 先⾏行行研究：データ転送量量の削減、状態同期の最適化 3 VM VM VM 価格：XXX 仕様：XXX 価格：YYY 仕様：YYY 価格：ZZZ 仕様：ZZZ
- 4. 背景 • 広域環境における仮想計算機（VM）マイグレー ション技術の重要性拡⼤大 – 応⽤用例例：災害復復旧（DR）、コスト最適化 – 先⾏行行研究：データ転送量量の削減、状態同期の最適化 • しかし、実⽤用化に向けた課題は⼭山積 – ヘテロなクラウド環境間で仮想クラスタを移送 4 • アーキテクチャ（CPU） • 仮想計算機モニタ • 通信デバイス
- 5. 仮想クラスタマイグレーション • アプリケーションを再起動することなく、 クラウド間で仮想クラスタをマイグレーション • ホストにおける最適なネットワークを利利⽤用 5 BMBMBM Public CloudPrivate Cloud Infiniband BMBMBM Ethernet Virtual Cluster Node VM Node VM Node VM Network
- 7. 発表の流流れ • 背景 • 仮想クラスタマイグレーション • プロトタイプ実装 • 実験 • 関連研究 • まとめと今後の予定 7
- 9. HPCクラウド • 仮想クラスタ上で⾼高性能計算を実⾏行行 – 仮想化I/Oを⽤用いた場合、実⽤用的な速度度で実⾏行行できる アプリは限定 – 直接I/O（PCIパススルー、SR-‐‑‒IOV）を⽤用いた場合、 I/O性能は物理理計算機に匹敵 • 仮想クラスタ＝ノードVM＋ネットワーク – ネットワークには通信⽤用と管理理⽤用が存在 9 本発表での前提 • プライベートクラウド：通信⽤用にInfinibandを直接I/Oで使⽤用 • パブリッククラウド：両者を仮想化I/Oで兼⽤用
- 10. 仮想クラスタマイグレーション 10 BMBMBM Public CloudPrivate Cloud Migration Node VM Node VM Node VM Infiniband Network Virtual Cluster IB HCA IB HCA IB HCA BMBMBM Node VM Node VM Node VM Ethernet Network NIC NIC NIC PCI pass through virtio_̲net DRユースケース： プライベートクラウドでは、Infinibandを直接I/Oで⽤用いる仮想 クラスタを使⽤用し、災害時等には、（Ethernetしか持たない） パブリッククラウドにマイグレーションし、復復旧後に戻す
- 11. 要求 1. 実⾏行行環境に応じた最適な通信デバイスの切切替え – 仮想クラスタで稼働するアプリケーションは、利利⽤用 可能な通信⽤用ネットワークに応じて動的に通信デバ イスを切切り替える必要がある 2. ローカルエリアネットワークの差異異の隠蔽 – クラウド間でクラスタ環境をシームレスに移送する ために、管理理⽤用ネットワークのIPアドレスをマイグ レーション前後で同⼀一に保つ必要がある 3. 広域環境におけるVMマイグレーション – ⾼高遅延環境において、共有ストレージを⽤用いること は性能上現実的ではない 11
- 12. アプローチ 1. 実⾏行行環境に応じた最適な通信デバイスの切切替え インターコネクト透過型マイグレーション Ninja migration 2. ローカルエリアネットワークの差異異の隠蔽 OpenFlow技術を⽤用いたエッジオーバレイ ネットワークの構築 3. 広域環境におけるVMマイグレーション 共⽤用ストレージが不不要なストレージマイグ レーションの利利⽤用 12
- 13. Ninja migration • 要件 – マイグレーション時だけ、直接I/Oデバイスを取り外 し、VMマイグレーションを実⾏行行 – VM間のコーディネーション – ゲストOS内のデバイスの検出、通信デバイスの切切替 13 VMMとゲストOS内のMPIランタイムの連携動作 （MPIチェックポイントシステム機能を流流⽤用）
- 14. Ninja migrationの全体構成 14 IB HCA VM VMM Application MPI system IB HCA VM VMM Application MPI system Ninja migration Ethernet NIC VM VMM Application MPI system Ethernet NIC VM VMM Application MPI system Ninja migration Virtual Cluster Migration Global coordination Device setup
- 15. エッジオーバレイネットワーク • OpenFlowとGREトンネルを⽤用いて、パブリッ ククラウド上にプライベートクラウドのネット ワーク環境を模擬 15 VMM Node VM VMM Node VM VMM Node VM eth0 eth0 eth0 tap0tap0 tap0 gre0gre0 gre0 OFS OFS OFS GRE Tunneling OFC Trema 192.168.0.1 192.168.0.2 192.168.0.3 ※OFS: OpenFlow Switch OFC: OpenFlow Controller
- 16. ストレージマイグレーション • 共有ストレージを⽤用いず、マイグレーション先 にVMイメージを転送 • フルストレージマイグレーション – VMイメージ全体を転送 • インクリメンタルストレージマイグレーション – ベースイメージに対する差分のみを転送 – ベースイメージはあらかじめ同期の必要あり 16
- 17. プロトタイプ実装にあたって • 現在のパブリッククラウドは、外部とのVM マイグレーションに未対応 • ⼊入れ⼦子型仮想化（Nested KVM）を使⽤用 17 BMBMBM VMVMVM NIC NIC NIC Node VM Node VM Node VM Ethernet Network × 〇
- 18. 実験 18
- 19. 実験環境（1/2） 19 T510T510 CV01CV01 CloudCore VPS@KDDI Web Comm.AIST DC Node VM Node VM Ethernet Network Node VM Node VM Infiniband Network Virtual Cluster Tsukuba WAN, SINET OvS OvS GRE RTT遅延 7.5ミリ秒 グッドプット 920 Mbps 490 Mbps ※（T510 – CV01間）
- 20. 実験環境（2/2） 20 AIST (PowerEdge T410) CloudCore CV01 CPU 6-‐‑‒core Intel Xeon X5650 @ 2.66GHz 2-‐‑‒core Intel Core2 duo T7700 @ 2.40GHz Memory 6 GB 2 GB Infiniband Mellanox ConnectX-‐‑‒2 (QDR) -‐‑‒ Ethernet Broadcom on-‐‑‒board NIC (GbE) virtio_̲net HDD 1 TiB 100 GiB OS Debian GNU/Linux 7.1 (kernel 3.2.0-‐‑‒4-‐‑‒amd64) CentOS 6.2 (kernel 2.6.32-‐‑‒220.el6.x86_̲64) Node VM CPU 1 core Memory 512 MB Ethernet virtio_̲net HDD 5 GiB OS CentOS 6.4
- 21. ストレージマイグレーション時間 21 #VM AIST -‐‑‒> CloudCore CloudCore -‐‑‒> AIST full 1 172 179 2 215 299 inc 1 9 9 2 9 9 • フルストレージマイグレーション – VM数が増えるとWAN回線がボトルネック • インクリメンタルストレージマイグレーション – 転送量量が⼤大幅に削減できるので（5.4 GB→260MB）、 マイグレーション時間が短縮 （単位は秒）
- 22. Ninja migration • オーバヘッド時間測定 – 産総研→CloudCore：約4秒 – CloudCore→産総研：約22秒 • 考察 – 今後の課題:Infinibandのリンクアップ時間が約20秒 と無視できない 22
- 23. MPI Point-‐‑‒to-‐‑‒Point通信性能 23 0.01 0.1 1 10 100 1000 10000 1 10 100 1000 10000 100000 1e+06 Bandwidth(MB/sec) message size (byte) T410 L1 (IB) CloudCore L1 (TCP) CloudCore L2 (TCP) 2.1 GB/s 111 MB/s 72.4 MB/s※ メッセージ⻑⾧長 4MB ※ L2 VMにはGREのオーバヘッドも含まれる
- 24. まとめと今後の予定 24
- 25. 関連研究 • ヘテロ環境におけるVMマイグレーション – Vagrant：XenとKVM間でマイグレーションを実現 è 本提案とは相補的 • ⼊入れ⼦子型仮想化を⽤用いたVMマイグレーション – Xen Blanket：Amazon EC2とのVMマイグレーショ ンに成功 è 複数VM対応に関しては、初歩的な段階 – Virtage (KVM on LPAR)：ユースケース「VMM as a Service」を提案 è VMマイグレーションの検討は不不明 25
- 26. まとめ • 実⾏行行環境の変化に応じて、 最良良の通信性能を達成する通信デバイスを アプリケーションから透過的に選択・利利⽤用できる 仮想クラスタマイグレーションを提案 – Ninja migration – エッジオーバレイネットワーク – ストレージマイグレーション • プロトタイプ実装を開発し、HPCクラスタと 商⽤用パブリッククラウド間の仮想クラスタ マイグレーションを実現 – ⼊入れ⼦子型仮想化 26
- 27. 今後の予定 • より詳細かつ⼤大規模環境での評価 • クラウドミドルウェアのPCIパススルー対応 [済] • MPIシステムに依存しないNinja migration実装 • 仮想クラスタマイグレーションの応⽤用 27 本研究の⼀一部は、JSPS科研費（24700040）の成果を活⽤用している。 Physical machines HaaS IaaS user A IaaS A IaaS user B IaaS user C IaaS B IaaS user D Physical machines HaaS IaaS マイグレーション