JAZUG札幌支部（きたあず） 第20回勉強会 2018/09/29

1. Microservices and Servcie
Mesh on Azure
2018/09/06 加藤 司 JAZUG札幌支部（きたあず） 第20回勉強会

2. 自己紹介
加藤 司
• 株式会社オルターブース所属
• テクニカルアーキテクト
• インフラ全般/Xamarin/C#/PHP/RoR
• Microsoft MVP for Microsoft Azure
• コミュニティ活動
• JAZUG熊本支部（くまあず）/ふくあず
• 熊本クラウド語ろう会（熊クラ会）
• Fukuoka.NET（ふくてん）
• JXUG福岡

3. 注意事項
•お話する内容は2018年9月28日時
点での内容となります。
•今後アップデート等により仕様が変
わる可能性があります。

4. 今日お話する内容
•Monolithic × Microsrvices
•Microservices Architecture
•Microservices Infurastructure
•Open Service Broker＋Service
Catalog

5. Monolithic × Microsrvices

6. Monolithic × Microservcies
Monolithic Microservices
アプリケーションを１つの塊として作成 機能毎に分けてアプリケーションを作成

7. 特徴
Monolithic Microservices
• シンプルな作りのため、
開発期間は比較的短く、
デプロイも容易に行え
る
• 機能の一部の修正でも
全体に影響がある
• 性能が足りなくなった
場合、サーバーを増や
すかスケールアップす
る必要がある
• 変化に対応しやすい
• 部品で開発するため、
チームを細分化しやす
い
• サービスが分かれてい
るためそれぞれ異なる
言語の選択も可能
• サービス全体が煩雑に
なりがち

8. スケールアウト
全ての機能を一気に増や
すかスケールアップで対
応する
増やしたい機能のみ
スケールアウト可能
Monolithic Microservices

9. 機能修正（デプロイ）
一部のモジュール修正で
もアプリケーション全体
をデプロイしないといけ
ない
一部の機能のみ更新する
ことが可能
Monolithic Microservices

10. Microservices Architecture

11. Architecture
Shared
Datastore
Application
Business Logic
Data Access
UI
Monolithic Microservices
Datastore
per Service
API
Function
Data
Access
UI
Datastore
per Service
Function
Data
Access
…
API

12. マイクロサービスを
導入するために

13. マイクロサービスで重要な事
•マイクロサービスを導入する上で必要な
のはサービスの分割である。
•まずはクラウドのPaaSを利用し、サー
ビス分割をしてみると良い。
•その上でコンテナ化等を進めていく。

14. マイクロサービスの問題点

15. マイクロサービスの問題点
•年々機能追加で巨大化・複雑化していく
•機能間の通信を把握できない
•全体像が把握しにくい
•障害時に問題の特定がしにくい
•認証情報、証明書などが管理しにくい

16. 問題点を解決するためには
どうしたらいいの？

17. Kubernetes & Istio

18. その前に

19. Microservices Infrastructure

20. Microservices Infrastructure
•コンテナー技術
• Docker
• Kubernetes
•サーバーレスアーキテクチャ
• AWS Lambda
• Azure Functions
• Google Cloud Functions
•クラウドサービス
• Azure Service Fabric

21. Kubernetes Managed Service
•Azure Kubernetes Service (AKS)
•Amazon Elastic Container Service
for Kubernetes(Amazon EKS)
•Google Kubernetes Engine(GKE)

22. Kubernetesとは？

23. Kubernetes
•自動デプロイ、スケーリング、アプ
リ・コンテナーの運用自動化。
•Webコンソールが用意されており、
GUIでの管理が可能。
•Google が社内のオーケストレー
ションツール「Borg」を元に開発。
•CNCFに寄贈され管理されており
オープンソースで提供されている。

24. Kubernetesの主な構成要素
•Kubernetesの構成要素は大きく分
けて以下の2つになります。
• Kubernetes Master
• Kubernetes Node

25. Kubernetesのアーキテクチャ
Master
apiserver
controller-
manager
scheculer
etcd
Node
kubelet
proxy
Pod
cAdvisor Container
Container
Firewall/LoadBalancer
kubectl
Pod
Container
Node
kubelet
proxy
Pod
cAdvisor Container
Container
Pod
Container

26. Kubernetes Master
•クラスタの管理やPodを集中管理を
行う。
コンポーネント 役割
apiserver Kubernetesを操作するAPIを提供、kubectlはAPI
ServerをREST APIで実行するコマンドツール
etcd 設定情報の共有とサービス検出を行うKVSで、
クラスタの全データを格納するデータストア
controller-manager コンテナーの状態を監視し、定義された状態
と異なる場合、自動修復するバックグラウン
ドプロセス
scheduler Podをノードへの割り当てを行うスケジューラ
Addons WebUIやクラスタ内のDNSサービスを提供

27. Kubernetes Node
•コンテナーを配置・稼働させるホス
ト。
コンポーネント 役割
kubelet 各ノード上のコンテナー作成/削除、ボリュー
ム割り当てなど
proxy コンテナーのネットワークルーティング・負
荷分散
docker コンテナーの実行
rkt Dockerの代替で利用可能
supervisord kubelet,dockerの稼働状態を保つプロセスモ
ニタ・制御システム
fluentd クラスターレベルでのログ収集

28. Workload他
•kubectl
•Pod
•Services
•Deployment

29. Azure Kubernetes
Service(AKS)

30. Azure Kubernetes Service(AKS)
•ManagedなK8sサービス。
•Kubernetesクラスターの構築、管
理の負担を軽減。
•ホストされているMasterの自己修復。
•自動的なアップグレードや修正プロ
グラム適用。

31. Azure Kubernetes Service(AKS)
•SLAは99.5%となっており、課金対
象はユーザーリソースのみ。
•クラスター内のエージェント ノード
の可用性には、Virtual Machines
の SLA が適用される。

32. AKSのアーキテクチャ
リソースグループ (AKS)
リソースグループ (K8sノード関連)
仮想ネットワーク
サブネット
K8s Agent 可用性セット
動的割当
動的割当
K8s Master
Managed Service
ARM Deployment
ARM Deployment
Portal/CLI

33. AKS料金
•クラスター管理 (無償)
•AKS は無料のサービスのため、返金
規定のあるサービス レベル アグ
リーメントはない。
•ノードの価格
• ノードで使用した仮想マシンの利用料
を支払う

34. AKSデプロイ方法
•Azure Portal
•Azure CLI

35. AKSデプロイ（Azure Portal）
•基本、認証、ネットワーク、監視そ
れぞれ必要事項を入力して作成でき
ます。

36. AKSデプロイ（Azure CLI）
•サービスプリンシパルは自動生成さ
れるため、以下コマンドのみで作成
可。
## リソースグループ作成
az group create --name {RG_Name} --location japaneast
## AKSクラスター作成
az aks create --resource-group {RG_Name} --name {AKS_Name}
--node-count 1 --enable-addons monitoring --generate-ssh-keys

37. AKSへの接続
•Azure CLI からAKSへ接続した後に、
kubectlで操作します。
•Azure CLI 及び kubectlが利用でき
る Azure Cloud Shellより操作する
と便利です。
## AKSへ接続
az aks get-credentials -r {RG_Name} --name AKS_Name
## ノードの確認
kubectl get nodes

38. Istioとは？

39. Istio
•サービスメッシュの管理をするため
のもので、IBM、Google、Lyftに
よって開発されたOSSです。
•現状のバージョンは1.0.2で、活発
に開発されています。

40. Service Mesh Architecture
Load
Balancer
Radis
Cache
Cloud Platform / Baremetal
MySQL
Git Repository
Container Registry
Pipeline
開発(Dev)
User
Pod 1
ENVOY APP
Node
Pod 2
ENVOY APP
Pod 1
ENVOY APP
Node
Pod 2
ENVOY APP
Pod 1
ENVOY APP
Node
Pod 2
ENVOY APP

41. Istio
•サービス・ディスカバリ
•リトライ
•タイムアウト
•ロードバランサ
•バルクヘッド
•サーキットブレーカー
•流量制御

42. Istio
•ネットワーク制御
•Blue/Greenデプロイメント
•Feature Flag
•カナリアリリース
•障害検知
•ログ出力
•死活監視

43. Blue/Greenデプロイメント
•現行Verと次期Ver両方を用意し、次
期Verへ切替を行うことでダウンタ
イムなしにアプリケーションのリ
リースを行う手法。

44. Blue/Greenデプロイメント
App
開発メンバー
実行結果
Push
Polling
App
App
Kubernetes
Kubectl apply
docker build
LB

45. カナリアリリース
•新旧２つ（もしくは複数）のバー
ジョンを同時に稼働させて、徐々に
新しいバージョンをリリースする手
法。

46. カナリアリリース
App
開発メンバー
実行結果
Push
Polling
App v1
App v2
Kubernetes
Kubectl apply
docker build
LB
80%
20%

47. サーキットブレーカー
•コード側で処理するのではなくエ
ラーが続くアプリケーションへのリ
クエストをIstio側で遮断する。
•ブレーカーは失敗する可能性のある
操作に対するプロキシーの役割です。

48. サーキットブレーカー
実行結果
Envoy
Envoy
Kubernetes
CircuitBreaker
App
App
Client http Requests
Code 200 : 19
(95.0 %)
Code 503 : 1
(5.0 %)

49. Open Service Broker ＋
Service Catalog

50. Open Service Broker API
•Cloud Foundryで考えられていた
Service Broker（外部サービスのプ
ロビジョニングやクレデンシャルの
作成をプラットフォームに任せる仕
組み）を汎用的に使えるよう策定さ
れたAPI仕様。
•サービスを問わずに同じインター
フェースで利用可能。

51. Open Service Broker API
https://www.openservicebrokerapi.org/

52. Service Catalog
•KubernetesがService Brokerと簡
単に連携できる仕組みの事。
•Kubernetes APIとOpen Service
Brokerの仲介人。
•クレデンシャル情報をSecretとして
渡してくれる。

53. Service Catalog Design
https://github.com/kubernetes-incubator/service-catalog/blob/master/docs/design.md

54. Service Catalog
https://kubernetes.io/docs/concepts/extend-kubernetes/service-catalog/

55. Kubernetes + Service Catalog
CF App
K8s App
Any App
Cloud Foundry
Kubernetes +
Service Catalog
Any Platform
GCP
Service Broker
AWS
Service Broker
Open Service
Broker for Azure
Open Service
Broker for さく
らのクラウド
kubectl
GCP
Services
AWS
Services
Azure
Services
さくら
Services
Service Brokers

56. Kubernetes + Service Catalog
apiVersion: servicecatalog.k8s.io/v1beta1
kind: ServiceInstance
metadata:
name: osba-mysql-instance
namespace: default
spec:
clusterServiceClassExternalName: azure-mysql
clusterServicePlanExternalName: basic50
parameters:
location: japaneast
resourceGroup: mysql-osba-rg
firewallRules:
- startIPAddress: "0.0.0.0"
endIPAddress: "255.255.255.255"
name: "AllowAll"
「ServiceInstance」と「ServiceBinding」がK8sのカ
スタムリソースとして追加され、利用可能になる。
左のyamlファイルは
Azure Database for
MySQLをデプロイする
ためのもの。
下記コマンドで簡単に
デプロイ出来る。
$ kubectl create –f xxx.yaml

57. Kubernetes + Service Catalog
apiVersion: servicecatalog.k8s.io/v1beta1
kind: ServiceBinding
metadata:
name: osba-mysql-binding
namespace: default
spec:
instanceRef:
name: osba-mysql-instance
secretName: osba-mysql-secret
以下のバインディングを作成し、デプロイするアプリに
Secretからクレデンシャル情報を渡すようにすることも
できる。
左のyamlファイルは
Bindingの設定例。

58. Open Service Broker for Azure
Kubernetesから簡単にAzureのサービスが利用可能。
• Azure Database for MySQL
• Azure Database for PostgreSQL
• Azure SQL Database
• Azure CosmosDB
• Azure Event Hubs
• Azure Key Vault
• Azure Redis Cache
• Azure Search
• Azure Service Bus
• Azure Storage
https://github.com/Azure/open-service-broker-azure

59. Helm
•Kubernetesアプリのパッケージ
管理やデプロイを行うツール。
•macOSのHomebrewやLinuxの
yum、apt-getと同様の位置づ
けのイメージ。
•パッケージとしてまとめたもの
をChartという。
https://helm.sh/

60. Helm
コンポーネント 役割
helm go言語で開発されたコマンドラインツール
tiller Kubernetesクラスタにリソースとして配置され、
実際のデプロイを行う
chart Helmにおけるパッケージ
release chartを使って実際にデプロイされたクラスタ
上のオブジェクト
chartリポジトリ chartをhelmクライアントに提供する
主な役割は以下の通り。

61. Helm
以下のk8sの構成をデプロイする。
Ingress
Service Secret
ConfigMap
Deployment
Volume
Pods
ServiceInstance
ServiceBinding
helm install –f chart.yaml <package> …
helm upgrade –f chart.yaml <release_name>…

62. パイプラインを組むなら
Load
Balancer
Radis
Cache
Cloud Platform / Baremetal
MySQL
Azure
DevOps
開発(Dev)
User
Pod 1
ENVOY APP
Node
Pod 2
ENVOY APP
Pod 1
ENVOY APP
Node
Pod 2
ENVOY APP
Pod 1
ENVOY APP
Node
Pod 2
ENVOY APP
Ingress
Service
Secret
ConfigMap
Deployment
Deployment
Deployment
Azure
Container
Registry

63. Azure DevOps
•元のVisual Studio Team
Servcies(VSTS)でパイプライン、
リポジトリ、カンバン、自動テ
ストなど多様な機能を持つ。
•Kubernetesへのパイプラインも
作成でき、helm Chartも対応し
ている。

64. Azure DevOps

65. Azure DevOps

66. Azure DevOps

67. Azure Container Registry
•コンテナーレジストリサービス。
•Dockerコンテナーイメージの管
理はもちろん、Kubernetesの
yaml管理やhelm Chartsの管理
もできる。
•また、ビルドして直接AKSへデ
プロイすることもできる。

68. Azure Container Registry

69. まとめ
•Microservices is Not Silver Bullet.
•開発するアプリケーションに合った
アーキテクチャでの実装を。
•アップデートが早いため、柔軟に対
応していくことが必要となる。
•でも新しい技術は試してみたいです
よね？是非これを機にお試し下さい。

70. まとめ
•Open Service Brokerを導入するこ
とでクラウドのリソースを簡単に操
作することが出来るようになる。
•Helmチャートで管理するとより便
利なのでCI/CDも実装しよう。
•複数のクラウドの操作も出来るので、
マルチクラウドも容易に構成できる。

71. ご静聴ありがとうございました！