CPUとHypervisor 進化の視点からの考察 日本アイ･ビー･エム株式会社 クラウド事業統括 テクニカルサービス 高良真穂 2015年7月24日(金曜日)14：10-18：40 VIOPS10 WORKSHOP Virtualized Infrastructures Workshop [10]

1. © IBM Corporation 1
Presented by:
クラウドの次に起こるコト
CPUとHypervisor 進化の視点からの考察
2015年7月24日
高良 真穂
日本IBM株式会社
クラウド事業統括
テクニカルサービス本資料は、発表者によって準備された資料であり
IBMの公式の見解を代表するものではありません。

2. © IBM Corporation 2© IBM Corporation 2
自己紹介
高良 真穂
(たから まほ）
勤務先
日本アイ・ビー・エム
クラウド事業統括
テクニカル・サービス
ITアーキテクト
担当部長
ウェブ記事
ソフトレイヤー活用ガイド
http://www.gg-web.jp/document/
ソフトレイヤー探検隊
https://goo.gl/N7LjGC

3. © IBM Corporation 3
text
IBMのクラウドの取り組みは？
– パブリック・クラウド
• SoftLayer (IaaS)
– Bluemix (BluemixはSoftLayer上で稼動）
– IBM Cloud OpenStack Service (ICOSと呼ばれ、SoftLayerベアメタルで提供）
• Bluemix (PaaS)
– アプリケーションのチーム開発と稼動環境 DevOps
• Cloudant (CouchDBのマネージド・サービス / DBaaS)
• COMPOSE (MongoDB, Redis, Elasticsearch, PostgreSQL, and other database
as a service (DBaaS)
• CMS (Cloud Managed Service) IBM Strategic Outsourcing のサービス
– プライベート・クラウド／ハイブリッド・クラウド
• IBM Cloud Orchestrator OpenStackの周辺を拡張するソフトウェア
• Bluebox OpenStackのマネージド・サービス
• IBM Puresystem 定型パターンのインストールを自動化
• Bluemix Local (近日リリース予定） 社内に設置できるBluemix

4. © IBM Corporation 4
text
IBMのクラウドの取り組みは？
– マーケットプレイスの提供開始
• SaaS、PaaS、IaaS にまたがる多様な製品やサービスの探索、試用、購入を、Web
上でスムーズに行うことができ、クラウド利用の利便性を大幅に向上させる
• クラウドを活用するには、SaaSで提供されるビジネス・コンポーネント、ミドル
ウェアの構成パターン、仮想環境やセキュリティ・ソリューションなどを容易に発
見し、試用から導入までを効率よく進めることが求められていた
– クラウドを推進する組織改革
– 支援するOSSプロジェクト
• Docker 戦略的提携
– IBM container提供
• OpenStack Premiumスポンサー
• MongoDB Goldスポンサー
• Apache Spark
– 研究者・開発者3500人投入
http://www.ibm.com/cloud-computing/jp/ja/marketplace.html

5. © IBM Corporation 5© IBM Corporation 5
未来は過去の延長線にある!?
過去の技術を振り返りながら次を考える
1975年 IBM VM/370 計画とシステム・ジェネレーション・ガイドの抜粋
当時、MFの開発費は、日本の国家予算に匹敵すると言われていた
背景 アポロ打ち上げ、冷戦体制

6. © IBM Corporation 6
クラウド関連技術の振り返り＆未来
1987 IBM メインフレームLPAR (PR/SM)
1968 IBM メインフレームVM (CP/CMS)
1998 VMware開始
2001 IBM pServer LPAR p670
2003 Xen初版リリース
2008 Hyper-V
2006 AWS 設立
2005 SoftLayer設立
2006 Intel VT-x 仮想化
2005 Intel マルチコアCPU
1998 Rackspace 設立
2010 OpenStack Austin リリース
2013 Docker 初版リリース
2010 Azure開始
2007 IBM AIX WPAR
次に起こるコト？
2003 ブロードバンドの普及
p670
IBM/S370

7. © IBM Corporation 7
クラウド関連技術の振り返り＆未来
1987 IBM メインフレームLPAR (PR/SM)
1968 IBM メインフレームVM (CP/CMS)
1998 VMware開始
2001 IBM pServer LPAR p670
2003 Xen初版リリース
2008 Hyper-V
2006 AWS 開始
2005 SoftLayer設立
2006 Intel VT-x 仮想化
2005 Intel マルチコアCPU
1998 Rackspace 開始
2010 OpenStack Austin リリース
2013 Docker 初版リリース
2010 Azure開始
2007 IBM AIX WPAR
次に起こるコト？
2003 ブロードバンドの普及
p670
IBM/S370
CPUとHypervisorが
クラウドの推進力
CPUとHypervisor 進化の視点からの考察

8. © IBM Corporation 8
Xen の進化と今後？
Hardware (Intel VT-x or AMD-V)
PV on HVM (Xen 3.1〜), PVH (Xen 4.0 〜)
User
Process
Device
driver
Domain0 Linux Kernel
Back-end
driver
User
Process
Normal
Linux Kernel
Front-end
driver
Xen Hypervisor
User
Process User
Process
Normal
Linux Kernel
Front-end
driver
User
Process User
Process
準仮想化 Xen Para Virtualization 完全仮想化 Xen Full Virtualization
いいとこ取り
Xeon E5-2650v3 2.3GHz SoftLayerベアメタル上で比較
Xen バージョン 4.4.1
CPU コア x4 で比較、ベアメタルの場合は、コアのOnline数を制限
2015年
普及
この先は、何処へ？
2003年〜 2005年〜
Intel VT-x AMD-Vは不要
専用のカーネルが必要
少ないオーバーヘッド
Intel VT-x AMD-Vは必須
一般のカーネルが動作
エミュレーションの
オーバーヘッドが大きい

9. © IBM Corporation 9
Xenの祖先 LPAR
Hardware （POWER4以降）
Hypervisor
AIX AIX Linux
(POWER用)
Hypervisor
HMCHardware
CPU
Memory
I/O slot
core core core core core core core core
LAN SCSI LAN SCSI LAN SCSIHBALAN
5G 20G 10G
内臓HDD
AIX Kernel
User
Process
User
Process
AIX Kernel
User
Process
User
Process
Linux Kernel
User
Process
User
Process
LPAR #1 LPAR #2 LPAR #3
2001年〜
LPAR (Logical PARtitioning：論理分割
• 論理分割によるオーバーヘッドが無い
• OS〜H/Wまで専用設計のため高価
• １社で全てを開発、サポート
特徴
Xenもハードウェア化 20??年〜
p670

10. © IBM Corporation 10
text
クラウドの高性能化の課題
マルチCPUサーバーはNUMAベース
• NUMA（Non-Uniform Memory Access、ヌマ）とは、共有メモリ型マルチプロセッサコンピュータシス
テムのアーキテクチャのひとつで、複数プロセッサが共有するメインメモリへのアクセスコストが、
メモリ領域とプロセッサに依存して均一でないアーキテクチャ
# numactl –H
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9
node 0 size: 32660 MB
node 0 free: 26155 MB
node 1 cpus: 10 11 12 13 14 15 16 17 18 19
node 1 size: 32768 MB
node 1 free: 31936 MB
node distances:
node 0 1
0: 10 21
1: 21 10
インターコネクト メモリバスCPUメモリバス CPU
I/Oバス
I/Oバス
メインメモリ メインメモリ
I/OデバイスI/Oデバイス
Node 0 Node 1
コア 0〜9
メモリ 32GB
コア 10〜19
メモリ 32GB
numa コマンドでの確認結果
ベアメタルのマザー
ボード
2CPUタイプ
Node1Node2

11. © IBM Corporation 11
text
クラウド高性能化の課題
– NUMA ノード を VMが跨ると性能が上がらない
• UnixBenchのテストでも、メモリ間コピーが速度が劣化するためスコアが上がらない
– ベアメタルでは、VMのオーバーヘッドが無いが影響はある
– VMはNUMA構造の影響が大きい
UnixBench
3712.3
100%
UnixBench
2650.6
71.4%
ベアメタル
Xen HVM

12. © IBM Corporation 12
text
NUMA のBuilding Block Server
– NUMAノードをインターコネクト・ケーブルで繋いで、4CPU〜
16CPUまでスケールアップできる （System p の ベストセラー機）
８core 12core 16core
p570

13. © IBM Corporation 13
Dockerの先祖 WPAR
AIX Kernel
Hypervisor
HMCHardware
CPU
Memory
I/O slot
core core core core core core core core
LAN SCSI LAN SCSI LAN SCSIHBALAN
5G 20G 10G
内臓HDD
AIX Kernel
User
Process
User
Process
Linux Kernel
User
Process
User
Process
WPAR (system partitionの例)
AIX Kernel
/
/usr/lib/var
専用の root
ファイルシステム
inetd cron
syslog
専用プロセス
User
Process User
Process
/
/usr/lib/var
専用の root
ファイルシステム
inetd cron
syslog
専用プロセス
User
Process User
Process
User
Process
wpar1- AIX wpar2 - AIX
User
Process
Global AIX
/
/wpar2/wpar1/usr
Globalの
ファイルシステム
…
Global AIX /
wpar1 AIX /
wpar2 AIX /
LPARとWPARの関係
Workload Partition（ワークロードパーティション、WPAR）は、オペレー
ティングシステムレベルの仮想化技術のソフトウェア実装の1つ
WPAR 2007年〜
OSをコンテナ化、流動可能

14. © IBM Corporation 14
text
演算パワーの飛躍的進化
– GPGPU/MICを利用することで飛躍的な演算能力
– 課題は、並列プログラミングと消費電力と廃熱
Xeon
E5-2650
GPGPU
Many Integrated
many Core
GPGPU
K80
Parallel
Computing
Parallel
Computing
Messaging
Layer8コア
128GFlops
4992コア
1870GFlops
INTEL
NVidia
CUDA

15. © IBM Corporation 15
text
これからクラウドで起こるコト
–Xen Hypervisor は、ハードウェア化
• NonHA PV → HVM → PVH → Hardware Xen
• Direct IO を利用した安価なパーティショニング
• Dom0 Linuxのデバドラを利用した安価な実装
–高価なCPUから普及型CPUへ広がる
• POWER CPU → INTEL CPU → ARMコア （組込み機器クラウド）
• 組込み機器の様々なデバドラは Dom0を使って継承
–Xen Hypervisor に最適化されたマザーボード
• NUMAのXenへの最適化⇔XenのNUMA考慮
• Xeon版 Building Block サーバー
–飛躍的演算パワーの向上
• 人工知能センター 学習時はサーバー増強など、モードに応じた増減
• 電力供給と冷却（廃熱）の課題