OpenStack Summit Austin 2016 参加報告 講師：市川 俊一 (NTT ソフトウェアイノベーションセンター) アジェンダ：

1. © 2016 NTT Software Innovation Center
（OpenStack最新情報セミナー）
OpenStack Summit Austin 2016
参加報告
2016年5月26日
市川 俊一
NTT

2. 2Copyright©2016 NTT corp. All Rights Reserved.
OpenStack Summit Austin 2016 概要
• 名称：OpenStack Summit Austin 2016
• 日時：2016年4月25日～2016年4月29日
• 場所：Austin、テキサス州、米国
• 主催：OpenStack Foundation
• 参加者：7800名
• 5000名@Tokyo
• 6000名@Vancouver
• 4600名@Paris
• スポンサー：116社
• 86社＠Tokyo
• 119社@Vancouver
• 91社@Paris
• 参加者の国数：61ヶ国
• 56ヶ国@Tokyo
• 55ヶ国@Vancouver
• 62ヶ国@Paris
• 参加者の所属企業数：1190社
• 736社@Tokyo
• 976社@Vancouver
• 876社@Paris
• サミット初回参加者：54%
• 50%@Tokyo
• 54%@Vancouver
• 58%@Paris

3. 3Copyright©2016 NTT corp. All Rights Reserved.
Mitakaリリース
• Mitakaリリース
• 13番目のリリース
• 2016年4月7日
• 2336名の開発者、293の組織 (Libertyでは1933名・285組）
• 新機能（分かりやすいところでは）
• Dashboard(Horizon)のVM作成までの一連の流れの改善
• OpenStack Clientによる統一されたCLIの提供
• などなど
https://www.openstack.org/software/mitaka/

4. 4Copyright©2016 NTT corp. All Rights Reserved.
Austinサミットの情報源
• Keynote & Breakout Session
• スケジュール
• https://www.openstack.org/summit/austin-
2016/summit-schedule/
• 講演ビデオ
• https://www.openstack.org/videos/
• Design Summit etherpad
• https://wiki.openstack.org/wiki/Design_Summit/Newton
/Etherpads
• 各プロジェクトの議論結果まとめ
• http://hugh.blemings.id.au/2016/05/17/openstack-
summit-austin-2016-summary-of-summaries/
• 膨大な情報がオンラインに

5. 5Copyright©2016 NTT corp. All Rights Reserved.
基調講演の内容 (初日)
• 基調講演 by Jonathan Bryce
• Disruption
• 新しい技術を適用させて改善できる。一方で、既存の資産・技術・顧客ベース・
データの維持が必要なケースもある。
• Cloud Hosted, Cloud Optimized, Cloud Native System のすべてに使える。
• Diversity
• Enterprise Private Cloud
• Public Cloud
• GoDaddy, Rackspace, OVH.com, DreamHost
• Telcom and NFV (急速に進展）
• Verizon, AT&T, China Mobile, Comcast, Swisscom
• Research and Big Data
• Los Alamos National Laboratory, UFCG, University of Cambridge, TACC
• ユーザ調査
• Fortune 100の半分はOpenStackは使っている
• 65%のdeploymentは、商用環境で使われている
• 97%の利用者が「標準化されたプラットフォームとAPI」をOpenStackを使う理
由のトップ5の理由に挙げている。
• 技術より文化・プロセスの改善が重要。
44日 → 42日（技術のみ）→ 2時間（プロセスも見直した）
https://www.openstack.org/videos/video/embracing-datacenter-diversity

6. 6Copyright©2016 NTT corp. All Rights Reserved.
基調講演でのAT&Tの発表
• AIC: AT&T Integrated Cloud
• ネットワークの成長
• 2015: 114 petabytes daily
• 2015-2020: 10x network traffic growth
• EnterpriseとNetwork serviceの両方のWorkload
• 最終的に1000 zone以上を目標、
すでに74のzoneを配置
• FuelでDeployを自動化
• OpenStack Resource Manager（独自）
• 複数のZoneへの操作
• 最適なZoneの選択
• SDNやNFVの基盤として
活用していく予定
• AT&Tが、AustinのSuperuser Awards獲得
https://www.openstack.org/videos/video/at-and-ts-cloud-journey-with-openstack

7. 7Copyright©2016 NTT corp. All Rights Reserved.
基調講演でのMirantisの発表
https://www.openstack.org/videos/video/mirantis-sponsor-keynote
• Private Cloudで遭遇する問題
• 一位：31%がOperational modelを変えることに失敗
• Technology(software)がすべてを解決するわけではなく、起こる問題
に対処して、Tenantsへの影響を最小化するOperation Teamも重要
• Success with OpenStack is
1 part technology and
9 parts people and process
• Operations TeamをDevOps Ninjasにしていくか
• すべてを投げ出してPublic Cloudを活用する
• 中間解がもっとでてくるだろう(Managed serviceやAppliance）
• マーケット（年間規模）
• AWS: 10 billion USD、～1兆円
• Datacenter Infrastructure & Virtualization (EC2相当): 130
billion USD、～13兆円
• 世界のIT投資：3.5 trillion USD、～350兆円
• disruptionはこれから。PublicかPrivateという単純なものではない。

8. 8Copyright©2016 NTT corp. All Rights Reserved.
基調講演の内容 (二日目)
• 基調講演 by Mark Collier
• 中国のスタートアップであるEasyStack, UnitedStackが
OpenStack FoundationのGold memberに参加
• 市中の予想
• 500億のデバイスが2020までにネットワークに接続
• データ処理のために4億台のサーバが新たに必要になる。どう管理する
• OpenStackにどのOSSをどう組み合わせていくか？が焦点
• LAMPはどうなる？NFVは？
• 例えば、コンテナ、どれも40%以下だが
• 1. Kubernetes
• 2. Cloudfoundry
• 3. OpenShift
• Collaborate or die
• 大きな会社であっても、ソフトウェアの進歩を取り入れ、生き残って
いくために必要。Walmart、China Mobile等がその例。
https://www.openstack.org/videos/video/not-invented-here-collaborate-or-die-in-the-billion-device-billion-core-era

9. 9Copyright©2016 NTT corp. All Rights Reserved.
基調講演で紹介されたコンテナ利用例
• Time Warner Cable
• General-purpose multi-tenant container runtime for devs
• Apache Mesos を使って、4 engineersで、2016年1月に作業を始め, 2016
年5月に2 regionsで商用利用開始
• OpenStackがすでに整備されていたので、物理的なプロビジョニングで時間
がかかることはなかった。今後、Ironicの利用を検討。
• LivePerson
• ライブチャットサービスのSaaS provider
• 150 micro-services からサービスは構成される
• OpenStack
• 20,000 physical cores, 8000 instances, across 7 DCs
• Since Diablo, upgrading to Kilo
• Kubernetes cluster (with docker) with puppet on OpenStack large VMs
• 今後、CoreOS, Project Atomic, Ironicの利用を検討
• CoreOS
• Kubernetesを使ってOpenStackプロセスをコンテナに入れるデモ
https://www.openstack.org/videos/video/apache-mesos-on-openstack-at-time-warner-cable
https://www.openstack.org/videos/video/running-kubernetes-on-openstack-at-liveperson
https://www.openstack.org/videos/video/openstack-and-kubernetes-inception

10. 10Copyright©2016 NTT corp. All Rights Reserved.
The Big Tent, One Year Later (1/2)
• Big Tentとは
• OpenStackコミュニティが作り出すもので、一定の要件（主にOpen
であること）を満たすもの。
• Big Tent以前は、Incubationフェーズを設けて、Top-downで重要プ
ロジェクトを公式と認定するTop-downアプローチだった。公式かそ
うでないか、が過度に気にされ、時間が費やされる点が問題になった。
• KiloリリースからBig Tent適用、プロジェクト数は増えている。活発。
https://www.openstack.org/videos/video/the-big-tent-one-year-later
• Horizontalとは、
QA, Release
Management,
Security,
Deployment tool
等の横断的なもの
• Verticalとは、
Nova, Neutronの
ような機能

11. 11Copyright©2016 NTT corp. All Rights Reserved.
The Big Tent, One Year Later (2/2)
• Big Tentの下の公式プロジェクトのリスト
• https://governance.openstack.org/reference/projects/
• 原本：
https://github.com/openstack/governance/blob/master/reference/projec
ts.yaml
• OpenStackのnamespaceの下にレポジトリを持っているもの
すべてではない。Technical Committeeの承認を得たもの。
• 良かった点
• We are no longer stuck, More reactivity, Competition
• 悪かった点
• Single-vendor, Confusion, Made joining harder for established
projects
• 試行錯誤：Project Navigator, タグによって改善
• https://www.openstack.org/software/project-navigator
• 今後
• Inteoperability, End-user experience, overall technical design
https://www.openstack.org/videos/video/the-big-tent-one-year-later

12. 12Copyright©2016 NTT corp. All Rights Reserved.
Interoperability (1/2)
• DefCore Committee
• OpenStack Interoperability Project
• OpenStackの基盤ごとにAppを変える、なんてことが必要な
いように、ガイドラインを定義。
• コンポーネント：現状 Compute, Storage and both (Platform)
• 提供すべき機能（パスすべきAPIテストによって定義される）
• OpenStack Poweredロゴを使うためには準拠する必要あり。
• 最新のガイドラインは、”2016.01”と”2015.07”
• “2016.01”が対応するリリースはJuno, Kilo, Liberty, Mitaka
• “2015.07”が対応するリリースはIcehouse, Juno, Kilo
• 詳細は、https://refstack.openstack.org/#/guidelines
• 次のガイドラインは、2016年の8月に承認予定。
• Networking Capability（neutron）をRequired・必須とする、
Keystone v2をdeprecatedされる（v3のみ）、といったことが議論中。
https://www.openstack.org/videos/video/making-cloud-interoperability-across-openstack-vendors-a-
possibility-using-refstack
https://www.openstack.org/videos/video/interoperability-the-elephants-in-the-room-and-what-were-
doing-about-them

13. 13Copyright©2016 NTT corp. All Rights Reserved.
Interoperability (2/2)
• RefStack
• RefStackクライアントを実行すると、テストが実行されて、
Defcoreの要件を満たしているか確認できる。
• https://github.com/openstack/refstack-client
• RefStackサーバ
• テスト結果を匿名でアップロードして公開できる。
• ガイドラインで必須とされていない機能の実装度合いを収集して、
将来のライドライン作成につなげるという狙いもある。
https://www.openstack.org/videos/video/making-cloud-interoperability-across-openstack-vendors-a-possibility-using-
refstack

14. 14Copyright©2016 NTT corp. All Rights Reserved.
AT&T’s OpenStack Journey
• AIC: AT&T Integrated Cloud の History
• 2014年AIC1.0・Icehouse、2015年AIC2.0・Juno (Foundation)
• 2016年以降AIC3.0・Kilo (Virtualized Network)
• 規模
• 2015年1月から10月、20 zonesに配置
• 2015年10月から12月、54 zonesに配置（デプロイ自動化）
• アーキテクチャ
• Control PlaneはZoneごとに独立している
• セキュリティ(isolation)とパフォーマンス(latency)のため
• Fuelを使ったときの課題
• Day 2 operations, Multi-rack（セグメント）構成への対応、
Fuel自体のアップグレード、EndpointアクセスのSSLへの対応
• アップストリーム
• AIC Delivery TeamとOpenStackコミュニティのTimelineは必ずし
も合わない。Community teamを独立チームとして30人の開発者を
専任で新たに配置した。
https://www.openstack.org/videos/video/at-and-ts-openstack-journey-driving-enterprise-workloads-using-
openstack-as-the-unified-control-plane

15. 15Copyright©2016 NTT corp. All Rights Reserved.
OpenStack at Carrier Scale, AT&T
• 70以上のOpenStackを世界中に配置。57が商用利用されている。
15,000 VMsが稼働中。
• 1400万人の無線通信のユーザがいて、仮想化されたネットワーク
で接続されている。
• 5.7%のネットワークリソースがOpenStackの上にある
• コンポーネントが5.7%の仮想化に入っているか？という質問に対し
ては、回答を避けた。2020年までに75%が目標。
• ワークロード
• Web, big data, analytics, network functions, voice, video
• Orchestration
• ECOMP (Enhanced Control, Orchestration, Management &
Policy)。独自の実装、White paperを公開。
• http://about.att.com/content/dam/snrdocs/ecomp.pdf
• Networking
• OpenContrailを採用
https://www.openstack.org/videos/video/open-stack-at-carrier-scale

16. 16Copyright©2016 NTT corp. All Rights Reserved.
Lessons Learned from Deploying at Verizon
• Timeline
• 2015年3月にプロジェクト開始、6月・7月：設計・試験
• 2015年8月～11月：デプロイ、2015年12月：商用開始
• 現在
• 商用・3サイト・400台以下
• ベータ・2サイト・100台以上
• RedHat OpenStack Platformを利用
• IPv6 support, SSL support, High Availability
• Directorによるデプロイの自動化
• Bigswitchを利用
• Chaos monkeyで試験してresilienceを検証
• 640 component failures in 30 minutes
• 32 leaf / 6 spine / 16 rack, 1k neutron networks / 48k VMs
• Controller failover, Switch failover, Link failover
• アプリケーションに影響なし
https://www.openstack.org/videos/video/designing-for-nfv-lessons-learned-from-deploying-at-verizon

17. 17Copyright©2016 NTT corp. All Rights Reserved.
The Verizon User Story Journey
• Verizonの構成
• DistributorとしてRedHatを採用
標準的なOpenStack構成
• SDNにはBigSwitchを採用
• VNFで苦労したこと
• アプリケーションそれぞれを対応させるために、ベンダとプラット
フォーム・エンジニアの作業が必要だった
• 動的なスケールアウトとロードバランシングはまだ限定的
• LBaaS v2.0 が基盤で有効でも、アプリケーション側が対応しておらずにまだ使
えていないケースあり
• 動的なディプロイにライセンスモデルが合っていない
• ツールやオーケストレータにも適用のための修正が必要
• その他の試行錯誤
• 様々なトポロジの色々なネットワークパターンがあり、
チケットベースだったFirewall rule, Network access ruleの設定を
自動化したものがセキュリティを保っているか・合っているのか
https://www.openstack.org/videos/video/embracing-openstack-the-verizon-user-story-journey

18. 18Copyright©2016 NTT corp. All Rights Reserved.
Live Migration, Mitaka and Beyond
• Live Migration & Block Live Migrationの改善
• 用途：Maintenance, Rolling-upgrade and Power Consumption
• Mitaka update (KVM/libvirtの実装を中心に）
• Simple
• Block migrationのAPIパラメータ “is_on_shared_storage” は不要
• Work
• Live migrationの移動先をスケジューラが正しく選択
• VM作成時の Extra spec, scheduler hints, image properties を記録
• VolumeがAttachedされたVMのBlock migrationが安全に
• Libvirt 1.2.17以降が必要。Volumeのコピーを行わない。
• Config-driveを使う場合は形式をvfatにする必要あり(iso9660から)。
• Manageable
• Progress details (disk progress, memory progress)を確認できる
• Live migration を途中で（APIから）止められる
• Live migrationが終わるようにVMを止められる（完了後に自動でVM再開）
• Live migration に専用のネットワークを指定できる
• 将来: Post-copy live-migration、NUMA、HugePages, SR-IOV対応など
https://www.openstack.org/videos/video/live-migration-mitaka-and-beyond

19. 19Copyright©2016 NTT corp. All Rights Reserved.
Virtual Routers on Compute Node (1/2)
• Time Warner Cableの商用環境で行ったネットワーク構成変更
• Neutron の Router (L3)をどう収容するか
• 専用のNetwork nodeに
• North-Southの流れが主、リソースが使われずに非効率。
• 10Gbpsの帯域を使い切っても、CPU, RAMは使われず（OVSでも）。
• Control nodeに: 障害が起きた時の影響が大きい
• Compute nodeに: Routerを分散させて配置してはどうか？
• DVRを使わなかった理由
• まだ安定していない
• FixedIPを使った通信用に、
まだ結局Network Nodeが必要
• VR-D (Virtual Routers - Distributed)
• L3-Agent (Router) をnova-compute
(VM)と同じCompute nodeに配置する
• DVRと同じ構成になるが、neutronは
DVRモードではない
https://www.openstack.org/videos/video/virtual-routers-on-compute-nodes-an-not-so-irrational-decision

20. 20Copyright©2016 NTT corp. All Rights Reserved.
Virtual Routers on Compute Node (2/2)
• やってみてどうだったか
• 実装・デプロイの自動化は楽にできた。（既存の修正で）
• 数カ月前にneutronのバージョンはLibertyに上げている
• 問題になったバグ
• Neutron-serverがl3-agentとのやり取りを単一スレッドで処理してい
た。台数増加で問題になった。DVRでも同様に問題に。
• https://review.openstack.org/#/c/226686/
• Mitakaで修正された。（Austinサミット後にLibertyにもバックポート
された。）
• TWCのWorkaround: l3-agentを配置するノード数を100以下に制限
• 運用は複雑になったが、大きな影響はない
• Compute Node故障時に気にすることが1つ増えた
• ツール・モニタリングに修正
• 今後に向けて考えていること
• HA router, custom scheduling
• DVR: 安定するまで様子見、運用へのインパクトも要考慮
https://www.openstack.org/videos/video/virtual-routers-on-compute-nodes-an-not-so-irrational-decision

21. 21Copyright©2016 NTT corp. All Rights Reserved.
High Availability for Pets and Hypervisors
• Control planeのHAはほぼ確立されている
• Compute NodeのHAは必要か
• 本来、アプリケーション側で対応すべき (Cattle)
• 一夜にして既存サービスを書き換えるのは難しい。同じVMを自動で
再スタートして可用性を高める仕組みも有効 (Pets)
https://www.openstack.org/videos/video/high-availability-for-pets-and-hypervisors-state-of-the-nation

22. 22Copyright©2016 NTT corp. All Rights Reserved.
Fleet Management
• OpenStack operatorによる（Deployではなく）Day 2以降の
オペレーションを効率化・自動化する共通ツールを作る動き
• これまでCMDBの共通化などあったがイマイチ
• 機能・要件抽出の議論やAPIとデータモデルを作りが
進行中。OpenStack Ansibleから使える
Inventory管理部分を作る、という着想
• Rackspaceが先導している
• Austinで広く仲間集めが始まった
• Cratonという名前で
プロジェクト化を目指している
• AustinサミットでのEtherpad
• https://etherpad.openstack.org/p/Fleet_Management
• Product WGで議論されたUser Story
• http://specs.openstack.org/openstack/openstack-user-stories/user-
stories/proposed/fleet-management.html
スキーマの図：https://github.com/rackerlabs/craton/files/224277/schema.pdf

23. 23Copyright©2016 NTT corp. All Rights Reserved.
今後のOpenStack Summit
• 次回のOpenStack Summitは、
• Barcelona, SPAIN, Oct. 25-28, 2016
• その次は、
• Boston, U.S.A., week of May 8th, 2017
• Sydney, Australia, week of Nov. 6th, 2017
https://www.openstack.org/summit/barcelona-2016/

24. 24Copyright©2016 NTT corp. All Rights Reserved.
Evolving OpenStack Design Summit (1/2)
• Design Summitの形を変える議論が進行中
• Summitの開催時期をリリースから早くても2ヶ月後にする
• 開発者が”what”に焦点をあてる”Forum”
• UserやOpsからのフィードバック収集、次サイクルの戦略・計
画をコミュニティ横断で議論、、Breakout sessionでの発表
• Summitの中間に開発者中心の会議を開く
• 開発者が”How”に焦点をあてる”Project Teams Gathering”
• 次サイクルの課題をプロジェクト横断で議論、各プロジェクト
内で次サイクルの実装方針を議論・策定し、作業の開始
• プロジェクト毎のmid-cycleは、各PTLが維持するか決める
• 注：SummitのConference/Marketplaceの形に変更なし
• 状況
• 2月にDev MLで提案され、Austinサミットまでの議論で大き
な変更なし、コミュニティに意見照会中（ほぼ確定か？）
• Barcelonaサミットの後から実施予定という計画
http://www.openstack.org/blog/2016/05/faq-evolving-the-openstack-design-summit/

25. 25Copyright©2016 NTT corp. All Rights Reserved.
Evolving OpenStack Design Summit (2/2)
http://ttx.re/splitting-out-design-summit.html
http://lists.openstack.org/pipermail/openstack-dev/2016-February/087161.html

26. 26Copyright©2016 NTT corp. All Rights Reserved.
OpenStack Days Tokyo
• 次の国内のOpenStack Daysイベント
• OpenStack Days Tokyo 2016
• 2016年7月6日・7日、東京、虎ノ門ヒルズフォーラム
• http://openstackdays.com/