Virtual Azure Community Day 日本語トラック 2020/7/28 15:00 – 16:00

1. #VACD
これから始める
Azure Kubernetes Service 入門
竹井 悠人 / Yuto Takei
Microsoft MVP for Azure
1
Virtual Azure Community Day 日本語トラック
2020/7/28 15:00 – 16:00
本セッションの動画リンクは、SlideShare の説明から！

2. #VACD
このセッションで得られる内容
● コンテナ概要、基本的な仕組み、使い方
● オーケーストレーターのコンセプト
● Azure Kubernetes Service の展開方法
2
Docker コンテナを利用した Web アプリケーションの展開が主流となりつつあります。アプリケーション
の構成要素をマイクロサービスとして設計することで、拡張性や障害耐性に優れた運用をすることができ
るからです。しかし、コンテナの数が増えてくると、管理は煩雑になります。これを一つのダッシュボー
ドから集中管理できるようにするのがオーケストレーターと呼ばれる仕組みで、Kubernetes はその一つで
す。Azure には Kubernetes を容易に利用することができる Azure Kubernetes Service (AKS) というサー
ビスがあります。本セッションでは、AKS のインスタンスを作成し、その上にアプリケーションを展開す
る方法を説明します。

3. #VACD
竹井 悠人 / Yuto Takei
Microsoft MVP for Azure
株式会社Basset 代表取締役
東京工業大学 博士2年 兼 非常勤研究員
経産省 未踏アドバンスト事業 2020年度採択
ブロックチェーン分析のデータ処理技術を開発
クラウド ネイティブな開発を推進
3

4. #VACD
コンテナの基本
4

5. #VACD
コンテナとは？
実行に必要なものがすべて含まれたソフトウェア パッケージ
プログラムのバイナリや必要に応じてその設定ファイル、
依存するライブラリなどがすべて含まれている
5

6. #VACD
例: Nginx コンテナを使ってみる
docker run --name mynginx -d -p 8080:80 nginx
● コンテナとして起動すると、すぐ Web サーバーとして動作する
● インストールは必要ない
docker stop mynginx ; docker rm mynginx
● 使い終わったら、コンテナを停止して削除すれば終わり
6
Nginx コンテナの設定ファイルや公開ディレクトリなどの細かい使い方は
https://hub.docker.com/_/nginx を参照

7. #VACD
Docker とは
コンテナに関する一連の機能を提供するツール群
● Docker Engine : コンテナ ランタイムの状態を抽象化して API 経由で提供するモジュール
● Docker Client : 管理用コマンドライン ツール
● Docker Compose : コンテナ起動を支援する YAML ツール
● Docker Registry : コンテナ イメージを保存しておくためのレポジトリ
● Docker Swarm : 複数ホスト上のコンテナを管理するオーケストレーター
7
参照
Kubernetes 向けのコンテナ ランタイムの構成: https://kubernetes.io/docs/setup/production-environment/container-runtimes/
Windows でのコンテナ ランタイム: https://docs.microsoft.com/virtualization/windowscontainers/deploy-containers/containerd
現在では、OS 上でコンテナを管理する仕様が OCI (Open Container Interface) としてまとめ
られていて、コンテナ ランタイム (runc, containerd など) の挙動や、イメージの構成などが
定められている。Docker は、OCI 仕様に基づいて、コンテナをより抽象的に管理する高レベ
ルなランタイム (CRI) として機能する。

8. #VACD
余談: 昔のコンテナ サーバー
8
参考
Sun: https://gigazine.net/news/20061018_blackbox/
IBM: https://www.ibm.com/us-en/marketplace/prefabricated-modular-data-center
Microsoft: https://www.datacenterknowledge.com/inside-microsofts-chicago-data-center/
Google: https://www.youtube.com/watch?v=zRwPSFpLX8I

9. #VACD
コンテナの考え方 - マイクロサービス
9
1 コンテナ = 1 機能
1 台のマシンでは、コア数やメモリが許す限り、コンテナを稼働できる

10. #VACD
コンテナの考え方 - コンテナは壊れうる
別のサーバに移動して、再びコンテナとして起動させることができる 10

11. #VACD
コンテナの考え方 - 不変性
再現性が高い (テストでも運用でも同一)
11
MyApp MyApp
テスト環境 プロダクション環境

12. #VACD
コンテナのライフサイクル
docker run --name mynginx -d -p 8080:80 nginx
12

13. #VACD
コンテナの仕組みとその性質
あるプロセスを他のプロセスから切り離して実行するための仕組み
● OS のカーネルを共用
● 名前空間という仕組みにより、プロセス ID、メモリ空間、ファイルシ
ステム、ネットワークなどがホストから読み替えされる
13
注: Windows の Docker Desktop 上で走る Linux コンテナや、 Windows 上で走る Windows コンテナでもカーネル バージョンが異なる場合に
用いる Hyper-V 分離の場合には、上記はあてはまらず、代わりに軽量な VM の上にコンテナを走らせています。
https://docs.microsoft.com/virtualization/windowscontainers/manage-containers/hyperv-container
コンテナのメリット
• 起動が早い
• メモリが軽量に実行できる
コンテナのデメリット
• 異なるカーネルには使えない
(下記参照)

14. #VACD
VM による仮想化とコンテナの違い
14
異なる OS が一つのハードウェア上に共存でき
る (通常、仮想化されたうちの一つがホスト OS
として振る舞う)
カーネルを共用するので、個別のコンテナのメモ
リは軽量、イメージも小さい、起動も迅速。異な
る OS のアプリケーションは走らせられない。

15. #VACD
イメージとは
● バイナリや依存関係 (ライブラリ) を含むファイル システム
● 起動のためのコマンド ラインやその他のメタ データを含む
15

16. #VACD
Dockerfile
イメージの作り方 – Dockerfile (1)
16
注: 実際には、サイズが小さい OS (alpine など) を使うことや、レイヤー数を減らすために一つの RUN で多くの処理
を実行すること、パッケージ マネージャのキャッシュやログを消すなどの工夫をします
FROM ubuntu:20.04
RUN apt-get update
RUN apt-get install -y language-pack-ja tzdata
ENV LANG=ja_JP.UTF-8
RUN ln -sf /usr/share/zoneinfo/Asia/Tokyo
/etc/localtime
docker build --rm --tag=ubuntu-ja .
docker run --rm -ti ubuntu-ja date
ubuntu:20.04
apt-get update
apt-get install …
ln -sf …
オーバーレイ ファイル システム
(overlayfs)
↑ 出来上がりのイメージ

17. #VACD
イメージの作り方 – Dockerfile (2)
● COPY 命令 ディレクトリの
内容をイメージにコピー
https://docs.docker.jp/engine/reference/
builder.html
● マルチ ステージ ビルド
ビルド専用のコンテナ環境で
作ったバイナリを、本番の環
境にコピー
https://docs.docker.com/develop/
develop-images/multistage-build/
17
公開されたコンテナのレイヤーを調べるには MicroBadger とい
うサービスがオススメ https://microbadger.com/images/nginx

18. #VACD
コンテナを起動する
18
docker run
--name some-nginx
-v /some/content:/usr/share/nginx/html:ro
-p 8080:80
--rm -ti
nginx
よく使うフラグ
--rm … コンテナが終了したら停止状態にせず削除する
-t …擬似端末 (tty) を作成
-i … 標準入力を閉じない
-d … デタッチする(標準入力に繋がない)
詳細はリファレンスを参照
https://docs.docker.com/engine/reference/run/
ボリューム : コンテナ外のストレージを、どのパスにバインドするか
ネットワークの構成 : どのポート番号を公開するか、
どのネットワークにつなぐか
その他にも渡せるもの:
環境変数
特権の情報など
コンテナ名
イメージ名

19. #VACD
オーケストレーターの
登場まで
19

20. #VACD
単独マシンでの運用
● 複数コンテナの管理が面倒 → docker compose の登場
20

21. #VACD
Docker Compose の利用
右のようにコンテナの一覧を
記述したファイルを定義して
docker-compose up -d
停止させるときには
docker-compose down
21
version: '3.8'
services:
proxy:
image: nginx:mainline-alpine
restart: always
ports:
- "80:80"
volumes:
- ...
app:
build: app
mssql:
image: mcr.microsoft.com/mssql/server:2019-latest
environment:
ACCEPT_EULA: 'Y'
ports:
- "1433:1433"
volumes:
- /mnt/resource/tempdb:/tmp
- ./mssql:/var/opt/mssql
...
ファイルの形式
https://docs.docker.com/compose/compose-file/
マシンのキャパシティの限界がきたら、
単独マシン運用では限界...！

22. #VACD
複数マシンでの運用
● 実際、これでキャパ的にもいくらでもスケールさせられる
● ところがこれをすると、台数増えれば運用管理が大変になる
22

23. #VACD
Docker Swarm の利用
● Docker から標準で利用できる小規模なオーケストレーター
23
> docker swarm init
Swarm initialized: current node (awv1og70vi7dwxqjyefow4ali) is now a manager.
To add a worker to this swarm, run the following command:
docker swarm join --token SWMTKN-1-05t2868h41...(略)...s2ik7m9exe 192.168.65.3:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
> docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
awv1og70vi7dwxqjyefow4ali * docker-desktop Ready Active Leader 19.03.8

24. #VACD
24
一つの分散システムを構成するために、個々のマ
イクロサービスをスケールさせたり、ホストする
マシンを移動させたりする。
各コンテナの動作を、各ホスト マシン上で手動で
管理するのは大変
負荷分散、セキュリティ、ネットワーク接続、デ
プロイ
ユーザからすれば、コンピュータの集合 (データ
センタ) を、一つの大規模なコンピュータとして
みなしてくれれば楽
それを管理するツールが、Orchestrator (オーケ
ストレーター) である。
● Docker Swarm
● Kubernetes
求められる機能
● コンテナを稼働させるノードを管理すること
● ノードを選択してコンテナを起動すること
● 失敗したコンテナを再起動させること
● コンテナが持つ機能を、サービスとして公開
すること
● コンテナの数を増減させること (スケール)
オーケストレーターとは

25. #VACD
25

26. #VACD
Kubernetes とは
● コンテナの運用やスケーリング、管理などを自動化するための
オープンソース プラットフォーム
● 移植可能なので、その他の多くのクラウド プロバイダでも利用
できる: AWS, GCP
● OS やノードを可能な限り抽象化して API から利用できるように
する
● アプリケーション定義を宣言的に記述することが可能。記述さ
れた内容は、エンジンが動的に配置する
ヌメロニムで k8s と呼ばれることもある
26

27. #VACD
Kubernetes の機能
● クラウド インフラと連動するノードの管理
● デプロイメント単位でのシステムのロールアウト管理
● 名前空間、RBAC など
● Cronjob など
● Ingress Controller
● YAML形式で個別のリソースを記述する
27

28. #VACD
余談: Kubernetes の起源
● Google 社内で使われていた Borg というシステムが源流
● https://kubernetes.io/blog/2015/04/borg-predecessor-to-
kubernetes/
● Verma, Abhishek, Luis Pedrosa, Madhukar Korupolu, David
Oppenheimer, Eric Tune, and John Wilkes.
"Large-scale cluster management at Google with Borg.“
Proceedings of the European Conference on Computer Systems
(EuroSys). 2015.
https://research.google/pubs/pub43438/
28

29. #VACD
Kubernetes の仕組み
29https://kubernetes.io/docs/concepts/overview/components/
https://azure.microsoft.com/overview/kubernetes-getting-started/

30. #VACD
Kubernetes における概念
30

31. #VACD
Azure Kubernetes Service とは
マネージド サービスの Kubernetes
● 機能
○ コントロール プレーンの運用 (無償)
○ ノード プールの管理
(スケール、OS の管理、Kubelet のアップデートなど)
○ ストレージのプロビジョニング。永続化ディスク
○ IP アドレスのプロビジョニングや、ロード バランスなどの管理
○ ACR によるプライベート レポジトリとの統合
○ 監視の Azure Monitor との統合
○ RBAC での Azure AD との統合
● それ自体にデータベース機能や監視や、コンテナ開発支援機能がついている
わけではない
31

32. #VACD
AKS を作る手順
az group create -l japaneast -n KubRG
az aks create -g KubRG -n MyCluster --enable-managed-identity
Standard DS2 v2 (2 vcpus, 7 GiB memory) x 3ノード、
Basic ネットワーク構成、RBAC 有効なクラスタができる
Kube config に設定を書き込むと kubectl で使える
az aks get-credentials -g KubRG -n MyCluster
32

33. #VACD
Azure でコンテナに関連するサービス
● Azure Container Instance (ACI)
○ コンテナを単発で走らせたいときに使うサービス
https://azure.microsoft.com/services/container-instances/
● Azure Container Registry (ACR)
○ コンテナ イメージなどを格納できるレジストリ
https://azure.microsoft.com/services/container-registry/
● Azure Kubernetes Service (AKS)
○ コンテナ オーケストレーター。
https://azure.microsoft.com/services/kubernetes-service/
● Web App for Containers
○ コンテナ イメージから Azure App Service を作るサービス
https://azure.microsoft.com/services/app-service/containers/
33

34. #VACD
Azure Container Instance (ACI)
Windows や Linux のコンテナを起動する、コンテナ グループ
● DNS 名をふることができる aci-ex-linux.japaneast.azurecontainer.io
● Linux であれば Vnet にバインドさせられる (Public IP はふれなくなる)
● Azure File Share, Git などをマウントすることもできる
なにができないか:
● (Azure Web App とは違って) 当然 TLS のサポートなどはない
● スケールなどの機能はない
Kubernetes の Pod と似てる。AKS 仮想ノードでは、ACI がバックグラウンドで走る
34

35. #VACD
Azure Kubernetes Service
を作ってみる
35

36. #VACD
36
本日のサンプルのレポジトリはこちら
https://github.com/yutopio/MessageBoardSample

37. #VACD
デモの全体像
● このセクションのシナリオ
○ .NET Framework 向けのレガシーな ASP.NET アプリを
Kubernetes に持っていきたい
○ SQL Server を使っていて、ライセンスも持っている
● 見どころ
○ AKS で Windows ノード プールを使う
○ Linux 向け SQL Server を使う
○ AKS - ACR で、アプリケーションをコンテナ化する
○ Azure DevOps でアプリケーションの継続的デプロイを行う
37

38. #VACD
今回のデモでカバーする範囲
38

39. #VACD
準備するツール
● Docker Desktop
https://www.docker.com/products/docker-desktop
● Visual Studio Code
https://code.visualstudio.com/download
● Azure CLI
https://docs.microsoft.com/cli/azure/install-azure-cli-
windows
● Azure Kubernetes Service Extension
https://marketplace.visualstudio.com/items?itemName=ms-
kubernetes-tools.vscode-aks-tools
39

40. #VACD
次のステップ
40

41. #VACD
Ingress Controller の利用
Layer 7 でのトラフィックを管理するのが Ingress Controller
● AKS でイングレス コントローラーを作成する
https://docs.microsoft.com/azure/aks/ingress-basic
● AKS で HTTPS イングレス コントローラーを作成し、独自の
TLS 証明書を使用する
https://docs.microsoft.com/azure/aks/ingress-own-tls
41

42. #VACD
SSH Pod の利用
開発時に、ホスト側ではなく、コンテナ側ネットワークに簡単に
入って、他のサービスを見たいときが (たまに) ある
● SSH だけホストした Pod を作った
https://hub.docker.com/r/yutotakei/sshd
● 単独 (kubectl でなく docker run でも) でも使える
あくまで開発用途なので、プロダクションでは使わないように！
42

43. #VACD
NetworkPolicy
● Pod へのアクセスについて、通信の制限をかけるために利用する
● 内部で iptables を利用して各ノードにおけるパケット フィルタを実装
している
● 注意点
○ 168.63.129.16 からの通信は常に許可しておかないと、ポリシー
が効かなくなる
○ AKS の作成時に --network-policy azure が必要 (クラスタ作成後
の変更ができない)
○ Windows ノード上で走っている Pod には意味がない！！
43https://docs.microsoft.com/azure/aks/use-network-policies

44. #VACD
余談: なぜ 168.63.129.16 を含めるのか
● IP アドレス 168.63.129.16 とは
https://docs.microsoft.com/azure/virtual-network/what-is-ip-
address-168-63-129-16
○ VM がロード バランサー バックエンド プールの一部である
場合、正常性プローブ通信を、168.63.129.16 から発信でき
るようにする必要があります。
● 早い話が、Service を LoadBalancer で公開している場合、
Azure Loadbalancer の死活監視が 168.63.129.16 として振る舞
うので、この IP からの通信を許可しないと、サービスが死んで
いる判定され、外からルーティングされなくなる
44

45. #VACD
(ちゃんとした) ノードへの入り方
● Linux node では SSH が、Windows node では RDP ができる
● az aks create の際に、資格情報を指定する
● こちらは、ホスト ネットワークへ入るための資格情報となるの
で、取り扱いは十分に注意する！
45

46. #VACD
ベストプラクティス
● Bringing Kubernetes best practices to everyone
https://mybuild.microsoft.com/sessions/a9f84333-96e3-
460d-854c-39cca77bd2fe
● データベース、キュー、ストレージなどは、PVC でもできるが、
マネージド サービスに預けたほうがやはりオススメ
○ 永続化ボリュームの誤操作によるデータ消失事故を防げる
ほか、バックアップや DR なども任せられる (経験者は語
る)
46

47. #VACD
その他のリソース
● Azure での Kubernetes 入門
https://docs.microsoft.com/learn/paths/intro-to-kubernetes-
on-azure/
● Azure Monitor のコンテナー監視ソリューション
https://docs.microsoft.com/ja-jp/azure/azure-
monitor/insights/containers
● Azure Arc 対応 Kubernetes プレビューとは
https://docs.microsoft.com/azure/azure-
arc/kubernetes/overview
47

48. #VACD
おまけ
48