Mirror from https://speakerdeck.com/chusiang/continuous-delivery-with-ansible-x-gitlab-ci-2e # DevOps 人一定要知道的 Ansible & GitLab CI 持續交付技巧 (2/e) Ansible 是個與 Puppet, Salt, Chef 並列的 Infrastructure as Code 組態設定工具，其簡單易用的特性更讓人愛不釋手；GitLab 是業界很常見的 Git 私有版本控制服務，搭配其 GitLab CI 將能快速建立屬於自己的 CI/CD Pipeline 與自動化部署。 本次凍仁將會藉由 Ansible 和 GitLab 帶領大家一探持續部署的世界和 DevOps 的威力！ #DevOpsTaiwan #DevOpsTW #Agile #Meetup > https://devops.kktix.cc/events/meetup-kaohsiung-1

1. [ chusiang@devops-taiwan ~ ] $ cat .profile
# Author: 凍仁翔 / chusiang@drx.tw
# Blog: http://note.drx.tw
# Modified: 2017-08-19 12:34
2/e

2. 坐穩囉
要開始了了！
2

3. 關於我
• 凍仁翔 (@chusiang_lai)。
• 《凍仁的筆記》作者。
• DevOps Taiwan 志⼯工。
• 1 年年以上的 Ansible 使⽤用經驗。
• 5 年年以上的 IT 維運經驗。
• 第 8 屆 IT 邦幫忙鐵⼈人賽
DevOps 組冠軍。
3

4. Outline
I. DevOps ⼈人是什什麼？
II. 持續交付是什什麼？

5. Outline
I. DevOps ⼈人是什什麼？
II. 持續交付是什什麼？
III. Ansible 是什什麼？
IV. 怎麼部署 Ansible 環境？
V. 怎麼操作 Ansible？

6. Outline
VI. GitLab CI 是什什麼？
VII. Pipeline 是什什麼？
VIII.怎麼操作 GitLab CI？

7. Outline
VI. GitLab CI 是什什麼？
VII. Pipeline 是什什麼？
VIII.怎麼操作 GitLab CI？
IX. 怎麼⽤用 Ansible 和 GitLab CI 進⾏行行持續交付？
X. Q&A

8. Ⅰ. DevOps ⼈人是什什麼？
8

9. 前⼈人眼中的 DevOps 是什什麼？

10. Agile Tour 台中 by 正瑋 x Mina @ 2017.01.14
10

11. Agile Tour 台中 by 正瑋 x Mina @ 2017.01.14
11

12. 我⼼心中的 Dev ⼈人是什什麼？
等 Ops？
有事 On-call 沒事下班
Coding
12

13. 我⼼心中的 Ops ⼈人是什什麼？
耗時
有事救火 沒事 On-call
敲指令 裝機器
改什什麼 常忘記
13

14. 我⼼心中的 DevOps ⼈人是什什麼？
不⽤用 20 分
有事 On-call
沒事讓 code
"⾃自⼰己" 管機器
Coding
管機器
14

15. 今天會⽤用到哪些 Tools？

16. 今天會⽤用到哪些 Tools？
Git, GitLab
GitLab CI Docker
Ansible
16

17. 今⽇日⽤用到哪些 License？
LGPL
MIT Apache
GPL
17

18. 可以⽤用到哪些 Tools 替代？
Git, GitLab
GitHub
GitLab CI
Jenkins CI
Docker
Vagrant
Ansible
Chef
18

19. Ⅱ. 持續交付是什什麼？
19
可以讓我們提早下班的玩意兒！

20. 持續交付是什什麼？
《Continuous Delivery》- https://goo.gl/r9vXFg
持續的、不間斷的、不鬆懈的。
投遞、傳送、交付、交貨。
20

21. 《Continuous Delivery 中⽂文版》- https://goo.gl/SK745B
利利⽤用⾃自動化的
建置、測試與部署
，完美創造出可信賴
的軟體發佈
- Jez Humble & David Farley
21

22. 建置
測試
發佈
部署
⾃自動化

23. 建置
測試
發佈
部署
⾃自動化

24. 建置
測試
發佈
部署
⾃自動化

25. 建置
測試
發佈
部署
⾃自動化

26. 建置
測試
發佈
部署
⾃自動化

27. 建置
測試
發佈
部署
⾃自動化

28. 持續交付和持續部署有什什麼不同？
前者需⼿手動 Release ⾄至 Production，⽽而後者則⾃自動化之。
28
Continuous Delivery
Continuous Deployment
auto auto manual
Build Deploy Test Release
auto auto auto
Build Deploy Test Release

29. 導入持續交付的好處是什什麼？

30. Before
需耗數 hr 交付
1 週以上
交付 1 次
發佈 ≒ 救火
⼈人為失誤 ↑
30

31. Code 還在本機？
推上 Git server？
組態設定對了了？
單元測試過了了？
持續交付過了了？
真 實 案 例例
R&D：我程式寫完了了！
我：(哪裡寫完了了？！)

32. After
交付 < 5 min
commit
即交付
即早發現
即早治療
⼈人為失誤 ↓
32

33. R&D：我程式寫完了了！ 我：等 CD 過了了再說。
Code 還在本機？
推上 Git server？
組態設定對了了？
單元測試過了了？
持續交付過了了？
真 實 案 例例

34. 案例例分析
提前預演變更更⼯工作，避免
每次變更更都變成例例外⼯工作！
《The Phoenix Project》
Amazon - https://goo.gl/visckK

35. Ⅲ. Ansible 是什什麼？
35

36. Ansible 取名⾃自知名⼩小說
《安德的遊戲》，是
虛構的超光速通訊裝置。
有了了它我們就可以像 Ender
指揮戰艦般的操控伺服器。
電影海海報 - https://goo.gl/4xftZT
36

37. Ansible ⾃自 2013 年年創立，
於 2015 年年被 Red Hat 併購。
iThome - http://goo.gl/yJbWtz
37

38. Ansible Tower
更更獲選 Linuxpilot 2017
Linux & OSS 最佳解決⽅方案，
擁有最佳系統⾃自動化管理理⽅方案
之名。
Linuxpilot - https://goo.gl/mSxR4E
38

39. 我⼼心中的 Ansible 是什什麼？
1. 與 Puppet、SaltStack、Chef 並列列其四。
2. Python like 的組態設定⼯工具
(Infrastructure as Code)。
39

41. Python
Ansible
SaltStack
Ruby
Chef
Puppet
vs

42. Python
Ansible
SaltStack
Ruby
Chef
Puppet
vs

43. 我⼼心中的 Ansible 是什什麼？
3. 不需 Agent，有 Python 和 SSH 就可以闖天下！
4. 容易易上⼿手。
5. 社群強⼤大，有商業公司⽀支援。
43

44. 真實案例例
每週節省 26 hr 的⼯工時。
(6 x 3) x 2 - (5 x 1) x 2 = 26 hr

45. 減少例例⾏行行性⼯工作⼈人⼒力力成本
0
350
700
1,050
1,400
Week Month Year
104 hr
26 hr
1,352 hr

46. 節省企業開⽀支
0
125,000
250,000
375,000
500,000
Week Month Year
$35,360
$8,840
$459,680

47. Ⅳ. 怎麼部署 Ansible 環境？
47
觀念念、安裝、設定

48. Ansible 是怎麼運作的？
透過 inventory 定義 Managed node，並藉由 SSH 與 Python 進⾏行行溝通。
48

49. 怎麼安裝 Ansible？
• 只需在 Control Machine (主控端) 安裝 Ansible；
Managed node 則需 Python 2.5+ 和 SSH。
49
$ sudo apt-get install ansible # Debian, Ubuntu.
$ sudo yum install ansible # RHEL, CentOS.
$ brew install ansible # Mac OS X (homebrew).
$ sudo pip install ansible # Python (pip).

50. 怎麼設定 Ansible？
• 藉由 ansible.cfg 來來設定 inventory (host file) 檔案路路徑、
Managed node (被控端) 使⽤用者名稱、SSH ⾦金金鑰 … 等。
50
$ vim ansible.cfg
1 [defaults]
2 hostfile = hosts # 指定 inventory 路路徑。
3
4 remote_user = docker # 遠端使⽤用者名稱。
5
6 #private_key_file = ~/.ssh/id_rsa
7
8 host_key_checking = False # 不檢查 ssh ⾦金金鑰。

51. inventory 是什什麼？
• 定義 Managed node (被控端) 位址與群組的主機清冊，
通常會⽤用來來設定 ssh 或 winrm 的連線資訊。
51
$ vim hosts
1 # 在同⼀一主機的不同 Port 跑 ssh server。
2
3 [staging]
4 stg.demo.drx.tw ansible_ssh_host=demo.drx.tw
ansible_ssh_port=10022
5
6 [production]
7 prd.demo.drx.tw ansible_ssh_host=demo.drx.tw
ansible_ssh_port=20022

52. Ⅴ. 怎麼操作 Ansible？
52
Ad-Hoc command, Playbook* (Module)

53. and
53
Playbooks
Ad-Hoc
commands

54. Ad-Hoc
commands
簡短指令

55. ⼀一般的 command line 是什什麼？
• 這裡的 command line 為 Linux Shell 底下的指令操作，
以下為 ping 和 echo 的操作的結果。
55
$ ping localhost
PING localhost (127.0.0.1): 56 data bytes
64 bytes from 127.0.0.1: icmp_seq=0 ttl=64 time=0.037 ms
--- localhost ping statistics ---
1 packets transmitted, 1 packets received, 0.0% packet
loss
round-trip min/avg/max/stddev = 0.037/0.037/0.037/0.000 ms
$ echo Hello World
Hello World

56. 怎麼⽤用 Ad-Hoc commands？
ansible <host-pattern> [-m module_name] [-a args] [options]
• host-pattern: all, server1, server1:server2, server_group.
56
$ ansible all -m ping
localhost | SUCCESS => {
"changed": false,
"ping": "pong"
}
$ ansible all -m command -a "echo Hello World"
localhost | SUCCESS | rc=0 >>
Hello World
# 各個 Module 的詳細說明請參參考官⽅方 All Modules ⽂文件。

57. 劇本
Playbooks

58. Playbooks 是什什麼？
• 比 Shell Script 更更結構
化的腳本語⾔言，是⼀一鍵
部署的好物。
• 使⽤用 YAML 格式，簡單
易易讀。
Baby Playbook Onesie - http://goo.gl/GKJvXn
58

59. Playbooks 是什什麼？
• 通常會有 Play, Task,
Module 和 handler 等。
• 整合 Jinja2 的 template
系統，可使⽤用變數、判
斷式、迴圈等表達式。
Baby Playbook Onesie - http://goo.gl/GKJvXn
59

60. Playbooks 是什什麼？
• ⼀一份 Playbook 可以有多個 Play、多個 Task 和多個 Module。
• 此例例⽤用到了了 Play × 1, Task × 2 和 Module × 2 (command, apt)。
60
$ vim example.yml
1 ---
2 - name: a sample playbook
3 hosts: all
4 tasks:
5 - name: Hello World
6 command: echo "Hello World"
7 - name: Install Vim
8 become: true
9 apt:
10 name: vim

61. Playbooks 是什什麼？
• 執⾏行行 playbook。
61
$ ansible-playbook example2.yml
PLAY [a sample playbook.] *******************************************
TASK [setup]*********************************************************
ok: [stg.demo.drx.tw]
TASK [Hello World] **************************************************
changed: [stg.demo.drx.tw]
TASK [Install Vim] **************************************************
changed: [stg.demo.drx.tw] => (item=[u'vim'])
PLAY RECAP **********************************************************
stg.demo.drx.tw : ok=1 changed=2 unreachable=0 failed=0

62. • 執⾏行行 playbook。
$ ansible-playbook example2.yml
PLAY [a sample playbook.] *******************************************
TASK [setup]*********************************************************
ok: [stg.demo.drx.tw]
TASK [Hello World] **************************************************
changed: [stg.demo.drx.tw]
TASK [Install Vim] **************************************************
changed: [stg.demo.drx.tw] => (item=[u'vim'])
PLAY RECAP **********************************************************
stg.demo.drx.tw : ok=1 changed=2 unreachable=0 failed=0
Playbooks 是什什麼？
62
TASK [setup]：被執⾏行行的 managed node 有哪些
PLAY RECAP：總結 (ok / changed / failed )

63. • 透過動作 (Play) 對特定 Managed node 進⾏行行操控，通常包含 Task 和 Module。
• 此例例⽤用到了了 Play × 1, Task × 2 和 Module × 2 (command, apt)。
Plays 是什什麼？
63
$ vim example.yml
1 ---
2 - name: a sample playbook
3 hosts: all
4 tasks:
5 - name: Hello World
6 command: echo "Hello World"
7 - name: Install Vim
8 become: true
9 apt:
10 name: vim
Play

64. • 藉由各種不同的模組 (Module)、迴圈和判斷式等組合來來完成各種任務 (Task)。
• 此例例⽤用到了了 Play × 1, Task × 2 和 Module × 2 (command, apt)。
$ vim example.yml
1 ---
2 - name: a sample playbook
3 hosts: all
4 tasks:
5 - name: Hello World
6 command: echo "Hello World"
7 - name: Install Vim
8 become: true
9 apt:
10 name: vim
Tasks 是什什麼？
64
Task 1
Task 2

65. • 最⼩小的操作⽅方法 (Method)，好比 Python 的內建函式。
• 此例例⽤用到了了 Play × 1, Task × 2 和 Module × 2 (command, apt)。
$ vim example.yml
1 ---
2 - name: a sample playbook
3 hosts: all
4 tasks:
5 - name: Hello World
6 command: echo "Hello World"
7 - name: Install Vim
8 become: true
9 apt:
10 name: vim
Modules 是什什麼？
65
Module

66. Ⅵ. GitLab CI 是什什麼？
66

67. GitLab 是什什麼？
集 Git Repository、Docker Registry、Issue tracking、Code Review、
CI 和 CD 於⼀一⾝身的現代平台。

68. GitLab CI 可以做什什麼？
Unit Test Integration Test Delivery DeploymentBuildSyntax Check

69. Ⅶ. Pipeline 是什什麼？
69
管道 (線)？⽣生產線？傻傻分不清楚？！

70. Ch 5. 部署流⽔水線解析
Ch 6. 建置與部署的腳本化
Ch 7. 提交階段
Ch 8. ⾃自動化驗測試
Ch 9. 非功能性需求測試
Ch 10. 應⽤用程式的部署與發佈
書中的 Pipeline 是什什麼？
《Continuous Delivery》- https://goo.gl/r9vXFg
70

71. 原始
程式碼
應⽤用程式
設置
提交階段
編譯
單元測試
程式碼分析
組裝 binaries
驗收階段
設置環境
部署 binaries
冒煙測試
驗收測試
UAT 階段
設置環境
部署 binaries
冒煙測試
探索性測試
⽣生產⼒力力測試階段
設置環境
部署 binaries
冒煙測試
執⾏行行⽣生產⼒力力測試
⽣生產環境
設置環境
部署 binaries
冒煙測試
版本控制
⾃自動發佈⾃自動發佈
⼀一鍵發佈
⼀一鍵發佈
Binary 儲存庫
binaries
metadata
程式碼 應⽤用程式設置
binaries metadata binaries
binaries
metadata metadata
Adapted from “Continuous Delivery” © Dave Farley and Jez Humble 2010
Translated by Chu-Siang Lai 2017

72. 原始
程式碼
應⽤用程式
設置
提交階段
編譯
單元測試
程式碼分析
組裝 binaries
驗收階段
設置環境
部署 binaries
冒煙測試
驗收測試
UAT 階段
設置環境
部署 binaries
冒煙測試
探索性測試
⽣生產⼒力力測試階段
設置環境
部署 binaries
冒煙測試
執⾏行行⽣生產⼒力力測試
⽣生產環境
設置環境
部署 binaries
冒煙測試
版本控制
⾃自動發佈⾃自動發佈
⼀一鍵發佈
⼀一鍵發佈
Binary 儲存庫
binaries
metadata
程式碼 應⽤用程式設置
binaries metadata binaries
binaries
metadata metadata
Adapted from “Continuous Delivery” © Dave Farley and Jez Humble 2010
Translated by Chu-Siang Lai 2017

73. – Chu-Siang Lai
「Pipeline 好比⽣生產線，導入⾃自動化後
，⾃自然顯現的軟體發佈流程。」

74. GitLab Pipelines ⼜又是什什麼？
圖像化的軟體發佈⽣生產線。

75. User Story
1. commit 即交付。
2. 收到 develop commit 後，即部署⾄至 stg.demo.drx.tw
，並進⾏行行測試。
3. 收到 master commit 後，即部署到 prd.demo.drx.tw
，但需先部署⾄至 stg.demo.drx.tw，並通過測試。

79. Ⅷ. 怎麼操作 GitLab CI？
79
在專案底下建立 .gitlab-ci.yml，當程式碼上傳⾄至 GitLab 即會觸發 GitLab CI。

80. • YAML 語法。
• 此例例⼤大致可分為 stage × 1 和 job × 1。
怎麼寫 .gitlab-ci.yml？
$ vim .gitlab-ci.yml
1 stages:
2 - build
3
4 build_binary:
5 image: ubuntu:16.04
6 stage: build
7 script:
8 - chmod 755 penguin-htdocs/DEBIAN
9 - dpkg -b penguin-htdocs
10 tags:
11 - docker

81. 怎麼觸發 GitLab CI？
81
Trigger by git push.

82. 從 Pipelines 看觸發狀狀態。

83. 詳細觸發資訊。

84. Ⅸ. 怎麼⽤用 Ansible 和 GitLab CI 進⾏行行持續交付？
84
在 GitLab CI，⽤用 Ansible (Docker Containers) 跑 Playbooks 即可。

85. 85
AnsibleGitLab CIDocker

86. https://hub.docker.com/r/chusiang/ansible/
0

87. $ vim .gitlab-ci.yml
1 stages:
2 - build
3 - deploy
4 - test
5 - release
6
7 build_binary:
8 image: ubuntu:16.04
9 stage: build
10 script:
11 # For fix bad permissions of control directory on GitLab CI.
12 - chmod 755 penguin-htdocs/DEBIAN
13
14 # build deb.
15 - dpkg -b penguin-htdocs
16 artifacts:
17 expire_in: 1 week
18 paths:
19 - penguin-htdocs.deb
20 tags:
21 - docker
22 87
1
TestDelivery DeploymentBuild

88. 22
23 deploy_to_dev:
24 image: chusiang/ansible:alpine-3.6
25 stage: deploy
26 script:
27 - ls
28 - cd ansible-playbooks/
29 - echo "${VAULT_KEY}" > secret.txt
30 - ansible-playbook deploy.yml
31 - rm -f secret.txt
32 only:
33 - master@chusiang/coscup2017-cd-demo
34 - develop@chusiang/coscup2017-cd-demo
35 - tags@chusiang/coscup2017-cd-demo
36 tags:
37 - docker
38
88
2
TestDelivery DeploymentBuild

89. 38
39 test_dev:
40 image: chusiang/ansible:alpine-3.6
41 stage: test
42 script:
43 - cd ansible-playbooks/
44 - echo "${VAULT_KEY}" > secret.txt
45 - ansible-playbook test.yml
46 - rm -f secret.txt
47 only:
48 - master@chusiang/coscup2017-cd-demo
49 - develop@chusiang/coscup2017-cd-demo
50 - tags@chusiang/coscup2017-cd-demo
51 tags:
52 - docker
53
89
3
TestDelivery DeploymentBuild

90. 53
54 release_to_prd:
55 image: chusiang/ansible:alpine-3.6
56 stage: release
57 script:
58 - cd ansible-playbooks/
59 - echo "${VAULT_KEY}" > secret.txt
60 - ansible-playbook -i production deploy.yml
61 - rm -f secret.txt
62 only:
63 - master@chusiang/coscup2017-cd-demo
64 - tags@chusiang/coscup2017-cd-demo
65 tags:
66 - docker
67
90
4
TestDelivery DeploymentBuild

91. DeliveryBuild Test Deployment
1. package deb file.
91

92. DeliveryBuild Test Deployment
2. $ ansible-playbook deploy.yml
1. package deb file.
92

93. DeliveryBuild Test Deployment
2. $ ansible-playbook deploy.yml
1. package deb file.
3. $ ansible-playbook test.yml
93

94. DeliveryBuild Test Deployment
2. $ ansible-playbook deploy.yml
1. package deb file.
3. $ ansible-playbook test.yml
4. $ ansible-playbook
-i production deploy.yml
94

95. https://gitlab.com/chusiang/coscup2017-cd-demo
5

96. Build stage
6
TestDelivery DeploymentBuild

97. Deploy, Test and
Release stages
7
DeliveryBuild Test Deployment

98. Pipelines
8

99. 火⼒力力展⽰示
Live Demo
99

100. Demo 環境為 Control Machine (Alpine 3.6) + Managed node*2 (Ubuntu 16.04)。
透過 GitLab CI 和 Ansible 操控 Managed node
100

101. https://youtu.be/QHim_JxB4ZY

102. – Chu-Siang Lai
「持續交付是⼀一段⼈人類與企業的進化史。」

103. 我的 Pipeline 進化史
Unit Test Integration Test Delivery DeploymentBuildSyntax Check
Unit Test Delivery DeploymentBuildSyntax Check
Unit TestDelivery DeploymentBuildSyntax Check
Delivery DeploymentBuildSyntax Check
BuildSyntax Check
Build

104. https://devopsdays.tw/

105. DevOps Taiwan
https://www.facebook.com/groups/DevOpsTaiwan/
https://devopstaiwan.slack.com/
https://gitter.im/DevOpsTW/

106. Ansible Taiwan
https://telegram.me/ansible_tw
https://github.com/ansible-tw
http://ansible.tw

107. http://萍⽔水相逢.tw
107

108. Q & A
嚴禁拍打餵食
108

109. END