Introduction to Magnum (JP)

Introduction to Magnum
NEC Solution Innovators,
OpenStack Community Team

目次
• 私は誰？
• Magnum とは？
• Magnum の使い方
• アーキテクチャ
• 開発環境
• デモ

5 © NEC Corporation 2015
私は誰？
▌Motohiro/Yuanying Otsuka
Twitter @yuanying
http://www.fraction.jp
▌NEC ソリューションイノベータ
OpenStack コミュニティ対応チーム
▌OpenStack コミュニティ
Magnum コア開発者 (2014/12/31~)
▌言語
Ruby (2007~)
Python (2014~)
▌趣味
ロードバイク (2009~)
トライアスロン (2010~)

趣味: ロードバイク沼 (2009 – 2015)
Colnago em Willier La Triestina Bianchi Via Nirone Cervelo S1
Cervelo Soloist Carbon Cannondale CAAD9 Cervelo P3 Cervelo Super Prodigy
Cervelo P4 Cervelo S5 Team Speedvagen CX Team Speedvagen Road

当社 OpenStack コミュニティ対応チーム
▌グループ員
日本人開発者 5名
中国人開発者 1名
インド人開発者 3名
▌OpenStack コア開発者
Nova 1名
Tempest 3名
Magnum 2名 1名
Ironic-inspector 1名
Senlin 1名

OpenStack との関わり
▌2011/10
Cloud Foundry の調査業務
• OpenStack 上にて Cloud Foundry の構築。
▌2014/06
グループ方針として Cloud Foundry から戦略的撤退
• 昨今の Cloud Foundry の盛り上がりを見ると、なぜこの時期に撤退したのか意味不明。
▌2014/07
OpenStack コミュニティ対応チームに配属
• Python? なにそれ。
• コミュニティの人間関係その他さっぱりわからない状態。
TripleO の調査
▌2014/11
Magnum の調査・開発
▌2014/12
Magnum コア開発者

OpenStack との関わり
17:47 yuanying: at least one hour.
17:47 sdake: think I am unblocked and have stack working
17:47 sdake: so I'll start tackling the baremetal launch
17:47 yuanying: using larks/kube?
17:48 yuanying: if you have heat-template
knowledge, I think its easy.
17:48 sdake: I was ptl of heat for 3 cycles
17:48 sdake: led team that wrote heat initially
17:48 sdake: fairly well versed ;-)
17:48 yuanying: really??
17:48 sdake: yup
17:49 yuanying: cool
17:49 sdake: thanks :)

関連技術 -- Docker
Docker Engine
▌ コンテナ型仮想化ソフトウェア
 Namespace
• マウント名前空間、PID名前空間、ユーザ名前空間 …
 cgroup
• cpu, memory, devices …
 chroot
• ディレクトリの隔離
 netns
• ネットワークの隔離
▌ アプリケーションのポータビリティ
 Write Once, Run Anywhere !
 Docker コンテナ = アプリケーション + 実行環境
これらの Linux がもとも
と持っていた技術を組みわ
せて利用している。
テスト環境
実行環境
App
library 1
library 2
ステージング環境
実行環境
App
library 1
library 2
商用環境
実行環境
App
library 1
library 2

関連技術 – コンテナ管理
Kubernetes
▌複数ホストに配備された Docker コンテナをどう管理するか？
コンテナをどこに配備するべきか？(スケジューリング)
配備したコンテナはどのホストにいるのか？
コンテナ間の連携は？
• アプリケーションコンテナはデータベースコンテナがどこに配備されたのかを知りたい。
コンテナのオートスケールはどう対応する？

Magnum とは
▌2013/11
OpenStack におけるコンテナ対応について言及
▌2014/08
コンテナ API に関するドラフト
• https://etherpad.openstack.org/p/openstack-containers-service-api
Nova にてコンテナ対応 API にて提案
• https://review.openstack.org/#/c/114044
▌2014/11
OpenStack Summit Paris のデザインサミットにて Magnum プロジェクトが始動
NEC の OpenStack 対応チームが Magnum にジョイン
▌2014/12
NEC からコア開発者が選出
▌2015/03
Magnum が OpenStack プロジェクトに昇格
▌2015/05
OpenStack Summit Vancouver にて次期 Experimental プロジェクトとして Magnum
がKeynoteにて紹介

Magnum とは
▌Container as a Service ??
Magnum 当初の提案されたスペック
• Nova と同じように Compute Host を配備、magnum-
agent が container を管理。
– magnum から直接 container を制御
– Container as a Service !!

Magnum とは
▌現状: Container Orchestration Tools Installation as a Service
Kubernetes / Swarm などのコンテナ管理システムのインストレーションサービス。
• 例えばデータベースでいう Trove の位置付け。
• gcloud の container サブコマンド相当。
Kubernetes / Swarm のクラスターを管理する。
• Kubernetes / Swarm のクラスターを「Bay」と呼ぶ。
ユーザーテナント
Bay (Kubernetes Type)
Kubernetes
Master
Kubernetes
Minion 1
Kubernetes
Minion 2
Service
Pod Pod
Replication
Controller Pod
Container Container
Container Container
Container Container
Bay (Swarm Type)
Swarm
Master Docker Node 2
Container Container Container Container
Docker Node 1
Magnum
Kubernetes Type
Baymodel
image: fedora-atomic
keypair: my_public_key
external-network: $NIC_ID
dns-nameserver: 8.8.8.8
flavor: baremetal
type-of-bay: kubernetes
Swarm Type
Baymodel
image: fedora-atomic
keypair: my_public_key
external-network: $NIC_ID
dns-nameserver: 8.8.8.8
flavor: baremetal
type-of-bay: swarm

Magnum でなにができるのか？
▌プロダクションユース可能な Kunernetes クラスターの管理 (予定)
そもそもプロダクションユース可能って何、という話はありますが…。
優先度は低いが、Docker-Swarm の管理も可能。
▌コンテナ管理のアブストラクションレイヤー提供 (予定)
Pod/Service/ReplicationController などの Kubernetes リソースを抽象化？
現状は場当たり的な実装があるのみ、しかも Kubernetes にしか対応していない。

当チームにおける Magnum に対する貢献
▌Bay 実装の First cut を担当
Heat を利用したアーキテクチャの提案および実装
はじめて通った magnum bay-create コマンド
▌Ironic サポート
しかし現在、絶賛デグレード中…
▌Python Kubernetes Client
Swagger のスペックからクライアントを生成
、、しかし動かないので手作業で修正。。
▌TLS-Auth
Magnum でインストールされた k8s/swarm クラスターへの認証に利用。

Swarm TypeKubernetes Type
Magnum の管理するリソース
▌Baymodel
▌Bay
Kubernetes Type Bay
Swarm Type Bay
▌Kubernetes Type Bay
Service
ReplicationController
Pod
▌Swarm Type Bay
Container
Bay
Baymodel
Pod Service ContainerRC

使い方
1. Baymodel の作成
Bay のテンプレート。
Bay 構築時に共通で使うパラメータをまとめておく。
2. Bay の作成
Bay (Kubernetes Cluster)
Baymodel と名前の指定。
3. Pod の作成
1. Magnum Client を利用
2. Native Client を利用
• Kubernetes 利用時の認証の設定。
– TLS Auth 用 Private Key / Cert ファイルの取得。
– TLS Auth 用 CA Cert の取得。

使い方: Baymodel の作成
# Baymodel の作成
$ magnum baymodel-create --name kubernetes
--image-id fedora-21-atomic-5
--keypair-id default
--external-network-id public
--dns-nameserver 8.8.8.8 --flavor-id m1.small
--docker-volume-size 5 --coe kubernetes

閑話休題: Baymodel の (よく分からない) パラメータ
パラメータ用途
--fixed-network Cluster が利用するプライベートネットワークのネット
ワークアドレス。ex: 10.0.0.0/24
--network-driver コンテナのネットワークで利用されるネットワークドラ
イバー。k8s: flannel, swarm: docker がデフォルト。
--ssh-authorized-key クラスターのホストOSが coreos の場合に、ユーザが
ssh でログインするための public key を指定。
--tls-disabled Bay の TLS Auth を無効化する。

使い方: Bay (Kubernetes Cluster) の作成
# Bay の作成
$ magnum bay-create --name k8sbay
--baymodel kubernetes
--node-count 2
--master-count 2

使い方: Pod/Service の作成 (magnum client 利用)

使い方: Pod の作成 (magnum client 利用)
# あらかじめ Kubernetes をダウンロードし、example を入手
$ cd ~/kubernetes/examples/redis/v1beta3/
# Pod の作成
$ magnum pod-create --manifest ./redis-master.yaml
--bay k8sbay

使い方: Pod の作成 (native client 利用)

# TLS-Auth 用の Certificate を入手
# 1. private key の作成
$ openssl genrsa -out client.key 4096
# 2. csr の作成
$ cat > client.conf << END
[req]
distinguished_name = req_distinguished_name
req_extensions = req_ext
prompt = no
[req_distinguished_name]
CN = Your Name
[req_ext]
extendedKeyUsage = clientAuth
END
$ openssl req -new -days 365
-config client.conf
-key client.key
-out client.csr
`gcloud container cluster` では
隠蔽されている作業を手作業で行
わなければならない。

# 3. client certificate の要求
$ magnum ca-sign --bay secure-k8sbay
--csr client.csr >
client.crt
# 4. CA cert の要求
$ magnum ca-show --bay secure-k8sbay > ca.crt
# 5. Pod の作成
$ kubectl create -f redis-master.yaml
--certificate-authority=ca.crt
--client-key=client.key
--client-certificate=client.crt
-s https://192.168.19.92:8080
# https://blueprints.launchpad.net/magnum/+spec/client-
tls-auth-configuration

アーキテクチャ
magnum_conductor
k8s_conductor
bay_conductor
magnum_api
heat
neutron
neutron
LBaaS
glance cinder
TemplateDefinition
k8s_template_definition
swarm_template_definition
Bay (k8s)
k8s
master
k8s
minion
Pod
Container Container
Pod
Container Container
Pod
Container Container
python
k8s_client
Barbican
nova
bay Pod… CA

アーキテクチャ (Bay管理時)
magnum_conductor
bay_conductor
magnum_api
heat
neutron
neutron
LBaaS
glance cinder
TemplateDefinition
k8s_template_definition
swarm_template_definition
Bay (k8s)
k8s
master
k8s
minion
Pod
Container Container
Pod
Container Container
Pod
Container Container
Barbican
nova
k8s
heat
template
Parameters
bay Pod… CA
cert
cert
REST API 提供
1. Bay
2. k8s resources
3. CA
1. Heat に Stack の生成を要求
2. データベースにデータを保存
ユーザの要求(baymodel) に従っ
て Heat のテンプレート及びパラ
メータを生成
k8s の TLS 接続に利用する Key
の管理 Bay 構築のために必要な
OpenStack リソースの生成
cloud-init を利用した
Kubernetes クラスターの設定

アーキテクチャ (K8S リソース管理時)
magnum_conductor
k8s_conductor
magnum_api
Bay (k8s)
k8s
master
k8s
minion
Pod
Container Container
Pod
Container Container
Pod
Container Container
python
k8s_client

開発環境
devstack
nova
neutron
heat
neutron-lbaas
barbican
ceilometer
magnum
magnum-api
magnum-conductor
192.168.11.0/24
197 198
devstack は構築済みとし、
Magnum を別ノードに構築する。

開発環境のセットアップ
https://gist.github.com/yuanying/f27cef22738acf8b1db5
1. 依存パッケージのインストール
2. magnum, python-magnumclient のインストール
3. magnumの設定
4. データベースの作成
5. magnum の起動
6. keystone への登録
7. イメージの登録
8. keypair の登録

開発環境のセットアップ (1) – 依存パッケージのインストール
$ sudo apt-get install libffi-dev libssl-dev git vim build-essential
libxml2-dev libsqlite3-dev libxslt1-dev
python-dev libmysqlclient-dev –y
$ curl -s https://bootstrap.pypa.io/get-pip.py | sudo python
$ sudo pip install virtualenv flake8 tox testrepository git-review

開発環境のセットアップ (2) – magnum, magumclient
$ cd ~
$ git clone https://github.com/openstack/magnum.git
$ cd magnum
# 以下コマンドで依存ライブラリおよびMagnumが
# ~/magnum/.tox/venv にインストールされる。
$ tox -evenv -- echo 'done’
$ cd ~
$ git clone https://github.com/openstack/python-magnumclient.git
$ cd python-magnumclient
$ tox -evenv -- echo 'done'

開発環境のセットアップ (3) – magnum の設定
$ cat > ~/magnum/etc/magnum/magnum.conf << END
[DEFAULT]
rabbit_userid=stackrabbit
rabbit_password = stackqueue
rabbit_hosts = 192.168.11.197
rpc_backend = rabbit
[database]
connection = mysql://root:stackdb@192.168.11.197/magnum
[keystone_authtoken]
admin_password = openstack
admin_user = nova
admin_tenant_name = service
identity_uri = http://192.168.11.197:35357
auth_uri=http://192.168.11.197:5000/v3
END

開発環境のセットアップ (4) – データベースの作成
# データベースの作成
$ mysql -h 192.168.11.197 -u root -pstackdb mysql <<EOF
CREATE DATABASE IF NOT EXISTS magnum DEFAULT CHARACTER
SET utf8;
EOF
# テーブルの生成
$ cd ~/magnum
$ source .tox/venv/bin/activate
$ pip install mysql-python
$ magnum-db-manage --config-dir etc/magnum/ upgrade

開発環境のセットアップ (5) – magnum の起動
# magnum-api
$ cd ~/magnum
$ magnum-api --config-dir etc/magnum/
# magnum-conductor
$ cd ~/magnum
$ magnum-api --config-dir etc/magnum/

開発環境のセットアップ (6) – keystone への登録
# devstack のホストにて
$ export HOST_IP=192.168.11.197
$ source ~/devstack/openrc admin admin
$ keystone service-create --name=magnum
--type=container
--description="Magnum Container Service"
$ keystone endpoint-create --service=magnum
--publicurl=http://192.168.11.198:9511/v1
--internalurl=http://192.168.11.198:9511/v1
--adminurl=http://192.168.11.198:9511/v1
--region RegionOne

開発環境のセットアップ (7) – イメージの登録
$ source ~/devstack/openrc admin admin
$ wget https://fedorapeople.org/groups/magnum/fedora-21-atomic-
5.qcow2
$ glance image-create --name fedora-21-atomic-5
--is-public True
--disk-format qcow2
--property os_distro='fedora-atomic'
--container-format bare
< fedora-21-atomic-3.qcow2

開発環境のセットアップ (8) – keypairの登録
$ source ~/devstack/openrc demo demo
$ ssh-keygen
$ nova keypair-add --pub-key ~/.ssh/id_rsa.pub testkey

Introduction to Magnum (JP)

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (11)

Similaire à Introduction to Magnum (JP)

Similaire à Introduction to Magnum (JP) (20)

Dernier

Dernier (11)

Introduction to Magnum (JP)

Notes de l'éditeur