Обзор возможностей Kubernetes, зачем он нужен, кому и когда, а также немного хороших практик по развертыванию и разработке Kubernetes-powered приложений.

1. Kubernetes 101
Production-Grade Container Orchestration

2. whoami
• Виталий Фокин
• Python-, Java-, Javascript-, Whatever-developer
• 8 лет коммерческого продакшена
• https://www.linkedin.com/in/vitalifokin/
• https://www.facebook.com/quozd

3. Но сначала..
• Kubernetes и оркестрация приложений - очень сложная и большая
тема, поэтому смотреть будем свысока и опустим некоторые детали
• Смотрим со стороны разработчика приложений, администрирование
Kubernetes - отдельная вселенная со своей магией
• Все примеры для Kubernetes 1.8

4. Кто такой этот ваш Kubernetes
и зачем он мне нужен?

5. Open-source system for automating deployment, scaling, and
management of containerized applications

7. Контейнеризация
• Виртуализация на уровне операционной системы — метод
виртуализации, при котором ядро операционной системы
поддерживает несколько изолированных экземпляров пространства
пользователя, вместо одного. Эти экземпляры (часто называемые
контейнерами или зонами) с точки зрения пользователя полностью
идентичны реальному серверу. Ядро обеспечивает полную
изолированность контейнеров, поэтому программы из разных
контейнеров не могут воздействовать друг на друга. (Педивикия)

8. И зачем это всё?
• Меньше overhead по сравнению с виртуальными машинами
• Не требует поддержки железа
• Все еще хорошая изоляция
• Проще в использовании
• НО меньше возможностей (shared ядро, нельзя запустить другую ОС
и т.д.)
• LXC, FreeBSD Jails, Docker, rkt, etc..

9. Docker
• Система userspace контейнеризации
• Преимущественно для Linux
• Использует LXC linux namespaces и
cgroups
• Позволяет «упаковать» приложение со
всем его окружением и зависимостями в
контейнер

10. • Воспроизводимость: больше нет "Работает на моем компе"
• Атомарность: все зависимости носим с собой и не зависим от хоста
• Легковестность: масштабирование и восстановление после сбоя в 1
клик
• Изолированность: контейнеры не влияют друг на друга и на хост (не
совсем)
• Управление ресурсами хоста

11. С чего все началось?

12. История первая, короткая
Представим, что вы таки подцепили болезнь под названием Docker

13. BigDataApp

14. BigDataApp Frontend
BigDataApp Backend

15. BigDataApp Frontend
BigDataApp Backend
BigDataApp DB

16. BigDataApp DB
Frontend Frontend
BackendBackendBackendBackend

17. BigDataApp DB
Frontend Frontend
Backend Backend BackendBackend
Server
BigDataApp DB
Frontend Frontend
Backend Backend BackendBackend
Server

21. • CoreOS Fleet
• Fig
• Apache Mesos + Maraphon
• Rancher
• HashiCorp Nomad
• Kubernetes

22. История вторая, длинная
Где-то в далеком-далеком Google

23. http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43438.pdf

24. Kubernetes
aka k8s

25. • Автоматическое распределение ресурсов
• Горизонтальное масштабирование
• Автоматическое развертывание и откат
• Управление системой хранения
• Автоматическое восстановление при сбоях
• Балансировка и service discovery
• Управление секретами и конфигурациями
• Одноразовые задачи

26. https://kubernetes.io/docs/concepts/architecture

27. Pods

28. Pod spec
apiVersion: v1
kind: Pod
metadata:
name: hellosetcon
labels:
app: hellosetcon
spec:
containers:
- name: hellosetcon-container
image: busybox
command: ['sh', '-c', 'echo Hello SetCon! && sleep 3600']

29. Services

30. Service spec
kind: Service
apiVersion: v1
metadata:
name: hellosetcon-service
spec:
selector:
app: hellosetcon
ports:
- protocol: TCP
port: 80
targetPort: 9376

31. Expose service
• LoadBalancer (только некоторые cloud платформы, например, GKE)
• NodePort
• Ingress (nginx, HAProxy, etc)

32. Controllers
• ReplicaSet
• Deployments
• StatefulSets
• DaemonSet
• Jobs
• CronJobs
• etc

33. Deployments
Управление Pods и ReplicaSets

34. Deployment spec
apiVersion: apps/v1beta2
kind: Deployment
metadata:
name: hellosetcon-deployment
labels:
app: hellosetcon
spec:
replicas: 3
selector:
matchLabels:
app: hellosetcon
template:
metadata:
...

35. Rollouts

36. Rollback

37. StatefulSets
• Русская языка очень сложная
• Stable, unique network identifiers.
• Stable, persistent storage.
• Ordered, graceful deployment and scaling.
• Ordered, graceful deletion and termination.
• Ordered, automated rolling updates.

38. DaemonSets
• Запускает pods на каждой ноде кластера (или выбранных нодах)
• Автоматически появится на новых нодах
• Удобно использовать для различных сервисов мониторинга
(prometheus, collectd), коллекторов логов (logstash, fluentd) и т.п.

39. Jobs
• Одноразово запускает поды и ждет их завершения
• Можно применять для внеплановых бекапов баз, работ по
восстановлению из бекапов, сбора информации по системе,
наполнения системы начальными данными, запуска тестов в CI и др.

40. CronJobs
И снова третье сентября

41. Ограничение ресурсов
• Kubernetes в данный момент поддерживает 2 типа ограничений
• CPU
• Memory
• Лимитов по IO/Network пока нет (но это решаемо)

42. Ограничение ресурсов
spec:
containers:
- name: db
image: mysql
resources:
requests:
memory: "64Mi"
cpu: "250m"
limits:
memory: "128Mi"
cpu: "500m"

43. Ограничение ресурсов
• CPU лимиты измеряются в юнитах-"миллиядрах"
• 1CPU = 1000m
• requests.cpu конвертируется в --cpu-shares флаг контейнера
• limits.cpu конвертируется в CPU time на каждые 100ms
• Превышение лимита приведет к тротлингу, но контейнер не умрет

44. Ограничение ресурсов
• Memory лимиты измеряются в байтах
• Превышение limit может привести к рестарту (если можно) или к
удалению контейнера
• Превышение requests приведет к удалению контейнера, если на ноде
заканчивается память

45. Раскладываем поды по
нодам и друг с другом

46. nodeSelector
apiVersion: v1
kind: Pod
metadata:
name: nginx
labels:
env: test
spec:
containers:
- name: nginx
image: nginx
imagePullPolicy: IfNotPresent
nodeSelector:
disktype: ssd

47. Node (Anti-)Affinity
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/e2e-az-name
operator: In
values:
- e2e-az1
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: another-node-label-key
operator: In
values:
- another-node-label-value

48. Liveness & readiness probes

49. Liveness probe
spec:
containers:
- name: liveness
image: k8s.gcr.io/liveness
args:
- /server
livenessProbe:
httpGet:
path: /healthz
port: 8080
httpHeaders:
- name: X-Custom-Header
value: Awesome
initialDelaySeconds: 3
periodSeconds: 3

50. Readiness probe
spec:
containers:
- name: readiness
image: k8s.gcr.io/readiness
args:
- /server
livenessProbe:
httpGet:
path: /ping
port: 8080
initialDelaySeconds: 3
periodSeconds: 3

51. Storage
• awsElasticBlockStore
• azureDisk
• azureFile
• cephfs
• configMap
• csi
• downwardAPI
• emptyDir
• fc (fibre channel)
• flocker
• gcePersistentDisk
• gitRepo
• glusterfs
• hostPath
• iscsi
• local
• nfs
• persistentVolumeClaim
• projected
• portworxVolume
• quobyte
• rbd
• scaleIO
• secret
• storageos
• vsphereVolume

52. Minikube
А так же Docker for Mac и Windows

53. Kubespray
Chef-Kubernetes
Kubeadm

54. Helm

55. Tips (контейнеры)
• Контейнеры должны быть stateless
• Не раздувайте контейнеры
• Не запускайте процессы от root
• Один контейнер - один процесс
• Не надо делать авторестарт внутри контейнера, лучше завершиться
• Сканируйте на уязвимости и обновляйте базовый образ

56. Tips (deployments)
• Используйте --record при деплое, поможет с роллбеком
• Больше лейблов богу лейблов
• Используйте initContainers для бутстрапа
• Никогда не используйте latest тэг контейнера
• Readness & liveness probes - маст хэв
• Не забывайте про лимиты
• ExternalService поможет с внешними зависимостями

57. Tips (всего понемножку)
• Ingress - это хорошо
• Используйте Helm
• Не переборщите с Micro в микросервисах
• Используйте Namespaces для разделения кластера
• ChaosMonkey укажет на косяки
• Не ходите на ноды по SSH, используйте kubectl exec
• Мониторинг, логи

58. Кто такой этот ваш Kubernetes
и зачем он мне нужен?