1. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
OpenStack関連セッション
1
OpenStack Summit Barcelona
2016 参加報告
神尾皓 立見祐介
Ansibleによるおっちょこちょい
の運用自動化
高橋拓也
4年間、OpenStackをデプロイし
てみた
北田駿也
OpenStack on Kubernetes
木下裕太

2. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2017年1月30日
2
インフラ技術１部 クラウドイノベーション 木下裕太(26)
OpenStack on Kubernetes

3. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
デプロイの苦痛からの解放
OpenStack(大規模マイクロサービス)のデプロイの問題は
roleを１つに集約したchefによって解決した！
3

4. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
デプロイは一瞬 オペレーションは一生
しかし…
デプロイ オペレーション
4
process死んだ
controller VM down
controller VM の HV down
chat
お電話
VMの再起動
筐体の調査
OpenStackの健全性確認…etc

5. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
デプロイは一瞬 オペレーションは一生
しかし…
デプロイ オペレーション
5
process死んだ
controller VM down
controller VM の HV down
chat
お電話
VMの再起動
筐体の調査
OpenStackの健全性確認…etc

6. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
デプロイは一瞬 オペレーションは一生
しかし…
デプロイ オペレーション
6
process死んだ
controller VM down
controller VM の HV down
chat
お電話
VMの再起動
筐体の調査
OpenStackの健全性確認…etc

7. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
オペレーションなんとかしたい
OpenStackの運用をなんとかしたい
人間じゃなくて自動で管理させたい
OpenStackはマイクロサービス
マイクロサービスといえば…
7

8. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
オーケストレーション

9. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
OpenStack on Kubernetes
Kubernetes上でOpenStackのコンポーネントを稼動させること
9
nova
horizon
cinder
node-01 node-02 node-03
オーケストレーション
コンテナ

10. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
OpenStack on Kubernetes
なぜKubernetes上でOpenStackを動かすのか？
• 自動フェイルオーバ(多少のnodeダウンは影響無)
• Blue/Green デプロイメント
• コンテナ化によりホストOSや他パッケージとの依存から解放
Yahoo! JAPANでは特に
• 大規模クラスタにおいて柔軟なコントローラ群を実現
• 社内システムと連携するツールやバッチ処理もKubernetesで
10

11. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
実際どうやるっていうのよ
Kubernetesが良いことはわかったが…
どうやってOpenStackをデプロイするのか？
11

12. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
デプロイの苦しみを繰り返さない
Y!Jには4年間のデプロイの熱い歴史が…
• 手動
• 手動 + chef
• ansible + chef
• chef
12
過去の経験を踏まえると…
 手動や管理できないツールは使えない
 computeとcontrollerを同じ手法で管理するのが望ましい

13. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
パッケージマネージャ
これでOpenStackをデプロイする
13
Helm
Kubernetesにおけるパッケージマネージャ
helmコマンド → yumコマンドに相当
chart(ファイル) → rpmパッケージに相当
詳細： https://helm.sh/

14. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
How to deploy OpenStack
互いに疎通が可能なマシンをならべておく
14
マシン (物理/仮想) マシン (物理/仮想) マシン (物理/仮想) マシン (物理/仮想)
controller用 compute用

15. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
How to deploy OpenStack
chefによるprovisioning
15
マシン (物理/仮想)
Kubernetes-node
マシン (物理/仮想)
Kubernetes-node
マシン (物理/仮想)
Kubernetes-
node
libvirtd
qemu
マシン (物理/仮想)
Kubernetes-
node
libvirtd
qemu
recipe
• kubernetes-master
• kubernetes-node
• etcd
• kvm
• その他…
controller用 compute用

16. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
How to deploy OpenStack
helmによるOpenStackのdeploy
16
マシン (物理/仮想)
Kubernetes-node
マシン (物理/仮想)
Kubernetes-node
マシン (物理/仮想)
Kubernetes-
node
glance
nova
keystone
libvirtd
qemu
nova-
compute
neturon-
agent
neutron
horizon
cinder
マシン (物理/仮想)
Kubernetes-
node
libvirtd
qemu
nova-
compute
neturon-
agent
chart
• configmap (各componentのconfを一元管理)
• nova, netron, horizon…etc
controller用 compute用

17. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
実環境
17
k8s-ctl01 k8s-ctl02 k8s-node01 k8s-node02 k8s-node03 k8s-node04 k8s-ing01 k8s-ing02 kvm001 kvm002
L4バランサ(HAProxy)
keystonenova
horizon compute
RabbitMQ
k8s
master
k8s
master
https://horizon
https://horizon
L7バランサ
SSL終端
http://horizon computeその他
DB
(MySQL)
Libvirt
QEMU
Libvirt
QEMU

18. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
デモ (実環境をお見せします)
* Kubernetesのnodeをdownさせる

19. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
OpenStack on Kubernetes
やってて感じてること (懸念点)
• OpenStack も Kubernetes も運用するの？
• 動かすまでがすごい大変
• Kubernetesのバージョンアップどうする？
19

20. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
OpenStack on Kubernetes
やってて感じてること (懸念点)
• OpenStack も Kubernetes も運用するの？
• 動かすまでがすごい大変
• Kubernetesのバージョンアップどうする？
でも、運用負荷は下がりそう！！！
20

21. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
今後
OSSの導入検討
* kolla-kubernetes
Kubernetesと連携するツール群の開発
* イベントをwatchして何かを行う
CI/CD pipelineの整備
などなど…
21

22. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
おしまい