talked by CI/CD Conference 2021 by CloudNative Days https://event.cloudnativedays.jp/cicd2021 re-upload: https://speakerdeck.com/whywaita/cyberagent-oss-cicd-myshoes-cicd2021

1. CyberAgent における
OSS の CI/CD 基盤開発
myshoes 編
株式会社サイバーエージェント
CyberAgent group Infrastructure Unit Private Cloud Team
Cloud Maker / Nakanishi Kento @whywaita
CI/CD Conference by CloudNative Days @ ONLINE
/ /
1

2. Nakanishi Kento / whywaita
• CloudMaker since
CyberAgent group Infrastructure Unit Private Cloud team
• 業務: OpenStack / Kubernetes を使った新機能開発
• 趣味: ⾃宅インフラ / アニソン
• AS (CA-LAB) Founderになりました
• 好きなCI: GitHub Actions, GitLab CI
2

3. .GitHub Actionsのrunner事情
.myshoesとは
.CyberAgentにおけるmyshoesの活⽤事例
3

4. GitHub Actionsの
runner事情
4

5. GitHub Actionsの好きなところ
• GitHubリポジトリとの連携がスムーズ
• ⼀通り⼈間がほしい機能が *だいたい* ある
• on.schedule, on.workflow_dispatch, matrix
• runner が Virtual Machine (not Container)
• docker run が普通にできる
• mkmod / dbus が普通にできる
• つまり何でも動くということだ
5

6. docker run ができる
• runner内では dockerd がそのまま動いている
• テストに必要なdockerコンテナ
• 例: ory/dockertest
• MySQL, Redis, minio + self build image ok
• helm/kind-action
• A GitHub Action for Kubernetes IN Docker
6

7. mkmod / dbus が普通にできる
iSCSI initiator のテストがうごく
7
https://github.com/lovi-cloud/go-os-brick/blob/master/test/scripts/init.sh

8. mkmod / dbus が普通にできる
LXDを動かしてpacker buildできる
8
https://github.com/whywaita/virtual-environments-lxd

9. 便利 ✨
9

10. runnerについて
• 2種類が存在
• GitHub-hosted runner
• GitHubが管理してくれるrunner
• self-hosted runner
• ⾃分で管理するrunner
• actions/runner をVMにインストール
10

11. runnerについて
• 2種類が存在
• GitHub-hosted runner
• GitHubが管理してくれるrunner
• self-hosted runner
• ⾃分で管理するrunner
• actions/runner をVMにインストール
11
⼀⻑⼀短

12. GitHub-hosted Runner
• Pros
• 完全マネージド
• Cons
• スペックが 2Core GB 固定
• ⾃前でやるよりは⾼い
12

13. self-hosted Runner
• Pros
• ⾃⼰のインフラで実⾏可能 （スペック、IP）
• Cons
• 冪統性がない
• self-hosted⽤terraformを管理する
terraformをself-hostedで動かして……
13

14. そんなときに便利なのが……
14

15. 15

16. 16
とは (OSSとして)

17. whywaita/myshoes
• Auto scaling self-hosted runner for GitHub Actions
• self-hosted runner をjobごとに⽣成、登録
• runnerにはそれぞれの環境のインフラが利⽤可能
• shoes-aws, shoes-lxd, shoes-openstack, ⾃作も可
• OSS: https://github.com/whywaita/myshoes
17

18. 利⽤イメージ - ジョブ実⾏
18
Jobを実⾏すると……

19. 利⽤イメージ - runner作成
19
myshoesによって⾃動で追加

20. 利⽤イメージ - ジョブ終了
20
Jobが終了すると……

21. 利⽤イメージ - runner削除
21
myshoesによって⾃動で削除

22. GitHub-hosted と同じ使い⼼地を実現
22

23. runner 仕様まとめ
• 毎回再作成されるため冪等性アリ
• matrix 対応
• N個 jobがある場合はN個 runnerを作成
• イメージはshoes providerごとに指定可能
• GitHub-hostedに限りなく近くする事推奨
23

24. 内部動作 - 追加時
24
Cloud Provider
• AWS / GCP / Azure
• LXD
• OpenStack
• etc etc
② Send a webhook
to myshoes
① Request job
③ Execute provider
Virtual Machine
with actions/runner
④ Create an instance
⑤ Register runner

25. 内部動作 - 削除時
25
Cloud Provider
• AWS / GCP / Azure
• LXD
• OpenStack
• etc etc
① Get a list of runner
③ Execute provider
Virtual Machine
with actions/runner
④ Delete an instance
② Check to delete runner

26. 内部動作 - 追加時
26
Cloud Provider
• AWS / GCP / Azure
• LXD
• OpenStack
• etc etc
② Send a webhook
to myshoes
① Request job
③ Execute provider
Virtual Machine
with actions/runner
④ Create an instance
⑤ Register runner

27. 内部動作 - 追加時
27
Cloud Provider
• AWS / GCP / Azure
• LXD
• OpenStack
• etc etc
③ Execute provider
Virtual Machine
with actions/runner
④ Create an instance
② Send a webhook
to myshoes
① Request job
⑤ Register runner

28. 内部動作 - shoes provider
28
Cloud Provider
Execute provider
(hashicorp/go-plugin)
Virtual Machine
with actions/runner
shoes-xxx
Virtual Machine
with actions/runner
Virtual Machine
with actions/runner
Call API
.Runner Name : runnerに付けるべき名前
.Setup Script : actions/runner展開スクリプト
.Resource Type : runnerのスペック

29. 内部動作 - shoes-aws
29
Amazon Web Services
Execute provider
(hashicorp/go-plugin)
EC
with actions/runner
shoes-aws
EC
with actions/runner
EC
with actions/runner
Call AWS REST API
.Runner Name to tag “Name”
.Setup Script to cloud-init user-data
.Resource Type to AWS Instance Type

30. 内部動作 - shoes-lxd
30
LXD server
Execute provider
(hashicorp/go-plugin)
LXD Container
with actions/runner
shoes-lxd
Call LXD REST API
LXD Container
with actions/runner
LXD Container
with actions/runner
.Runner Name to Instance name
.Setup Script to cloud-init user-data
.Resource Type to limits.cpu, limits.memory

31. 夢がひろがるmyshoes-provider
• Public Cloudの安価なインスタンス
• AWS Spot Instances, GCP Preemptible Instances
• Private Cloud, ⾃宅サーバ
• LXD, OpenStack
• 専⽤ハードウェア対応
• GPU, FPGA
31

32. CyberAgentにおける
myshoesの活⽤事例
32

33. 前提知識: Cycloud
• Cy(berAgent)cloud
• Private Cloud
• IaaS, Managed Service
• サイバーエージェント向けにカスタマイズ
• 安価に計算機資源を利⽤可 🥰
33

34. CyberAgentのCI事情
• 技術選定は各プロダクトが⾏う
• github.com , GitHub Enterprise Server, GitLab
• Jenkins, Travis CI, CircleCI, Drone CI, Bitrise
• エンタープライズ契約を⾏うことも
ex:) CircleCI Enterprise
• GitHub Actionsもbeta時代から⼀部プロダクトで導⼊
34

35. CyberAgentのCI事情
• Circle CI Enterprise からGitHub Actionsへの移⾏需要
• Enterprise 契約の終了
• コストメリットの低下
• サポートコストの増加
• Cycloudの安価な計算機資源が利⽤できるのでは？
→ myshoesの開発へ
35

36. CyberAgent では
• myshoesをマネージドサービスとして提供
• Cycloudユーザでも⾮ユーザでも利⽤可
• GHES, GHEC, github.com 全対応
• 社内のほぼ全てのユースケースに対応
• マルチテナントとして提供
36

37. CyberAgentにおけるmyshoes構成
• whywaita/myshoes + shoes-lxd
• マルチテナント提供: myshoes-controller
• Kubernetes Controller
• MySQL Cluster (with orchestrator)
• Docker Registry v , LXD image server
37

38. Kubernetes Cluster
CyberAgentにおけるmyshoes構成
38
myshoes-proxy
(Global IP)
github.com
GHES
User
Tenant A
Tenant B
webhook
myshoes REST API
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service

39. Kubernetes Cluster
CyberAgentにおけるmyshoes構成
39
myshoes-proxy
(Global IP)
github.com
GHES
User
Tenant A
Tenant B
webhook
myshoes REST API
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service
myshoes-proxy
• HTTPプロキシ
• webhook from GitHub
• myshoes REST API
• Prometheusメトリクス
• Kubernetes Pod
• svc.cluster.local 利⽤

40. Kubernetes Cluster
CyberAgentにおけるmyshoes構成
40
myshoes-proxy
(Global IP)
github.com
GHES
User
Tenant A
Tenant B
webhook
myshoes REST API
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service
myshoes-controller
• operator-sdk
• Tenant Resource
• Service, Secret,
Deployment

41. Kubernetes Cluster
CyberAgentにおけるmyshoes構成
41
myshoes-proxy
(Global IP)
github.com
GHES
User
Tenant A
Tenant B
webhook
myshoes REST API
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service
• shoes-lxd
• job実⾏ごとに
LXDインスタンス作成
• CoW + dockerdのためbtrfs
• btrfs subvolume
• NVMe volumeを直接利⽤

42. さらに
42

43. Kubernetes Cluster
CyberAgentにおけるmyshoes構成
43
myshoes-proxy
(Global IP)
github.com
GHES
User
Tenant A
Tenant B
webhook
myshoes REST API
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service

44. CyberAgentにおけるmyshoes構成
44
Tenant A
Tenant B
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service

45. 既存 Cycloud
CyberAgentにおけるmyshoes構成
45
Tenant A
Tenant B
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service
Service VM
Service VM
Service VM

46. 既存 Cycloud
CyberAgentにおけるmyshoes構成
46
Tenant A
Tenant B
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service
Service VM
Service VM
Service VM

47. 既存 Cycloud
CyberAgentにおけるmyshoes構成
47
Tenant A
Tenant B
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
Stadium VM
Stadium VM
Stadium VMs
LXD (listen )
k s Service
k s Service
for Service X
for Service Y
k s Service
Tenant C
k s Service
Service VM
Service VM
Service VM
既存 Cycloud ユーザは
⾃テナントのVMとの接続が可能
他テナントのVMとの接続は不可

48. CyberAgentにおけるmyshoes仕様
• Cycloud VMをstadiumとし
GitHub-hostedよりも安価に提供
• LXDイメージはGitHub-hostedとほぼ同じイメージを利⽤
• https://github.com/whywaita/virtual-environments-lxd
• ↑ + apt repoなど若⼲⼿を加えたもの
• runnerスペック 2Core GB ~ Core GB
48

49. 今後の展望
• OSSとして
• shoes provider, Documentsの拡充
• ⼿動オペレーションの絶滅
• マネージドサービスとして (要望次第)
• GPU runner ?
• macOS runner?
49

50. まとめ
• GitHub Actionsについて説明
• Pros / Cons, runnerについて
• whywaita/myshoes つくりました
• 便利に、安価にGitHub Actionsをつかえます
• 引き続き運⽤ / 機能開発していきます
• 使ってみたレポ、Issue、PRお待ちしております！
50