本簡報是 2017/10/25 由 Will 保哥 在【雲的萬物論研討會：跟著 Azure 玩雲端】研討會中所演講的【Windows Container 101: dotNET, Container, Kubernetes】主題，內容介紹 Windows Containers 的現況，以及如何將 Windows 容器整合至 Kubernetes 叢集架構下，現場還搭配 Azure Container Service 示範如何對叢集進行管理與部署。

1. Windows Container 101:
.NET, Container, Kubernetes
多奇數位創意有限公司
技術總監 黃保翕 ( Will 保哥 )
部落格：http://blog.miniasp.com/

2. WINDOWS CONTAINERS 簡介
Introduction to Windows Containers

3. 為什麼 容器技術 最近這麼夯？

4. 採用 容器技術 的主要優點
• 一致的部署環境、資源隔離、資源利用率高
• 靈活的應用程式建置與部署 ( 更好 CI/CD)
• 鬆散耦合、分散式、彈性、更易實現微服務
• 清楚的分開 Dev 與 Ops 的分工角色
• 可運行在雲端或地端作業系統
• 以應用程式為中心思考

5. KUBERNETES 簡介
Introduction to Kubernetes

6. 關於 Kubernetes 的兩三事
• 起初由 Google 發起的開園專案
• 擁有 Borg 與 Omega 的 DNA
• 於 2014 年捐贈給 CNCF 組職
• 2015 七月釋出 v1.0 版
• 以 Go 語言寫成
• 簡稱 k8s ( kubernetes )
• 採開放原始碼 Apache 2.0 授權

7. Kubernetes 到底有多夯？

8. Kubernetes 到底有多夯？

9. Kubernetes 的主要用途
• K8s 是一個 微服務應用程式 的 協調器
( An Orchestrator for Microservice Apps )
• K8s 可全自動化的管理與調配容器要在叢集
內的哪些實體機或虛擬機執行，無論是地端
或雲端。
• 親自送貨 v.s. 快遞服務

10. Kubernetes 的主要元件：Master
• 目前的 Kubernetes 只有一個 Master (未來會有 HA 版本)
• API 伺服器 ( kube-apiserver ) ( Port: 443 )
– 可視為 Kubernetes 整個叢集的大腦，負責 Master 對外的唯一窗口
– 完全透過 HTTPS / RESTful API / JSON 與各節點 (Nodes) 進行溝通
• 叢集儲存區 ( Cluster store ) ( etcd )
– 負責儲存所有叢集資訊的服務，現在使用 etcd 為主
– 整個 k8s 叢集只有叢集儲存區是有狀態的服務，其他都是無狀態的
• 控制管理器 ( kube-controller-manager )
– 負責管理所有控制器 ( Node, Replication, Endpoints, Namespace, … )
• 工作排程器 ( kube-scheduler )
– 負責監視 api-server 是否接收到新的 Pods 要求
– 負責配發 Pods 給適合的 Nodes 執行

11. Kubernetes 的主要元件：Nodes
• Nodes 又稱 Minions (小小兵) ( The Kubernetes Workers )
• kubelet ( Port: 10255 )
– 主要的 Kubernetes 代理程式 (Agent) 只聽命於 Master 控制
– 負責將指派要執行的 Pods 實體化 ( 每個 Pod 可能會包含多個容器 )
• kube-proxy
– 主要負責叢集內所有服務抽象化，自動化所有網路連接問題 (networking)
– 每個 Pod 只會有一個 IP 地址 (所有 Pod 下的容器會共享一個 IP 地址)
– 若有定義 Service 物件，則會讓多個 Pods 共用一個對外 IP (負載平衡)
• 容器執行環境 ( Container Runtime )
– 負責 pull, run, start, stop, …
– 可選 Docker 或 rkt (CentOS)
• supervisord
– 負責監控正在執行的的 kubelet 與 docker 的執行狀況 (確保程序永遠執行)
11

12. 認識 Kubernetes 物件
• A Kubernetes object is a "record of
intent" – once you create the object, the
Kubernetes system will constantly work to
ensure that object exists.
當你在叢集中建立好 K8s 物件，叢集系統會
盡一切可能保證該物件一直存在！

13. 認識 Desired State (期望狀態)
• 我們透過建立 Kubernetes 物件來告知叢集該如何
運行，藉此建立一種期望狀態 (Desired State)
• 例如我們有個服務希望至少執行三個 Pods
– 這時 K8s 就會盡力幫我們在叢集中達成這個期望狀態
– 但是狀態經常會改變，例如人為變更或有 Nodes 掛掉
– 此時 Kubernetes 就會依據先前的宣告盡力回復期望狀態

14. 如何建立 Kubernetes 物件
• 透過 Kubernetes API
– 透過 REST API 呼叫時要透過 JSON 格式傳入
– 官方支援 Go 與 Python 用戶端函式庫實作
– 社群支援
• https://kubernetes.io/docs/reference/client-libraries/
• https://github.com/kubernetes-client
• 透過 CLI 工具：kubectl
– 可以透過 kubectl 建立大部分物件
– 可以透過 kubectl 載入 JSON 或 YAML 檔案來建立

15. 認識 Declarative Model (宣告模型)

16. Pods
• 在虛擬機器的世界，最小單位是 VM
• 在容器技術的世界，最小單位是 Container
• 在 Kubernetes 的世界，最小單位是 Pod
– 在 k8s 叢集中，雖然跑的也是 Containers
– 但是所有 Contaienrs 一定會跑在 Pods 底下
– 正常的情況下一個 Pod 會跑一個 Container
– 進階應用的情況下，一個 Pod 也可以跑多個 Containers
– Pod 有 5 種狀態
• Pending、Running、Failed、Succeeded、Unknown

17. 關於 Pod 的生命週期
Pending Running Succeeded
Failed Unknown

18. Deployments
• Deployments 建立並維護 Pods 與 Replicas Set ( 簡稱 rs )
的期望狀態 (Desired State)，並將叢集的 目前狀態 (Actual
State) 轉換為 期望狀態 (Desired State)！
• Pods 決定 Container 要使用哪個 Container Image
• Replicas Set 則是決定 Pods 的複本數量

19. 關於 Deployments 的兩大特色
• 輪巡更新 (Rolling updates)
– 在套用新版時會先建立一個新 Pod，然後才會砍掉一個舊 Pod，然
後再建立一個新 Pod，然後在建立一個舊 Pod，依此類推…來完成升
級。
– kubectl apply -f status deployment/webapp1 --record
– kubectl rollout status deployment/webapp1
• 復原更新 (Rollbacks)
– kubectl rollout history deployment/webapp1
– kubectl rollout undo deployment/webapp1

20. Services
• Pod 是 k8s 的最小單位
– 每個 Pod 會有一個內部 IP 地址
– 每次建立好的 Pod 的 IP 地址都會不一樣
– 管理 Pod 的 IP 地址將會非常複雜
– 這時就是 Service 登場的時候！
• Service 負責管理多個 Pods 對外的網路介面
– 內建負載平衡器，可自動管理 Pods 對外的連線
– 每個 Service 都會有一個固定的 IP 地址與網域名稱

21. Proxy-mode: userspace

22. 使用 K8S 管理 WINDOWS 容器
Kubernetes: Managing Windows Container

23. Windows in Kubernetes 架構總覽

24. 關於 Kubernetes 對 Windows 的支援
• Kubernetes 1.5 增加了對 Windows 容器的支援
– 目前僅 kubelet 和 kube-proxy 可部署在 Windows
– 目前僅支援 Windows Server 2016 作業系統
– 其他控制功能元件還是需要部署在 Linux 上面
• API Server, Scheduler, Controller Manager, …
• 架設起叢集的必要條件
– 先將 Kubernetes 叢集部署到 Linux
– 在 Linux 上設定好 Kubernetes 網絡外掛
– 準備 Windows Server 2016 作業系統
– 在 Windows Server 安裝必要的 Docker 容器環境

25. Windows in Kubernetes 已知限制
• 在 Windows 沒有網路命名空間 ( network namespace )，
因此目前僅支援一個 Pod 一個 Container 執行！
• 目前尚不支援 Secrets 物件
( 因為 Windows 的 Bug: https://github.com/moby/moby/issues/28401 )
• 目前尚未實作 ConfigMaps 功能
• 由於 kube-proxy 透過 netsh portproxy 實作，所以僅支
援 TCP 協定，因此 DNS 原則上不支援，目前只有當用戶
端嘗試用 TCP 重新查詢 DNS 時才會生效。
https://kubernetes.io/docs/getting-started-guides/windows/

26. 實例展示
Live Demo

27. 相關連結
• 官網：http://kubernetes.io
• 專案：https://github.com/kubernetes/kubernetes
• 推特：https://twitter.com/kubernetesio
• Slack：http://slack.k8s.io
• Windows Server Support Comes to Kubernetes
• Windows SIG ( kubernetes/community )
• "Hands on With Kubernetes" workshops
• Windows Server Containers | Kubernetes
• Introduction to YAML: Creating a Kubernetes deployment
• Deploy Kubernetes cluster for Windows containers

28. 聯絡資訊
• The Will Will Web
記載著 Will 在網路世界的學習心得與技術分享
http://blog.miniasp.com/
• Will 保哥的技術交流中心 (臉書粉絲專頁)
http://www.facebook.com/will.fans
• Will 保哥的噗浪
http://www.plurk.com/willh/invite
• Will 保哥的推特
https://twitter.com/Will_Huang