Talk about Kubernetes cluster on baremetal servers for serve internal services. Sharing my experiences about setup and manage kubernetes cluster on premise. At first, start with single master kubernetes cluster and enhanced by many opensource softwares. Add more master nodes for increase server availability. Use Rook, MetalLB, Ceph, mysql-operator and more opensource projects.

1. Kubernetes on Premise
임찬식

2. 선택한 이유
핵심 제품이 대용량 메모리 & 고성능 IO 요구
많은 GPU 서버
내부 서버 자원 관리

3. Cloud Platform?
비용문제로 Cloud Platform 선택은 어려움
당시 Managed Kubernetes는 초기단계
(2018년 초반)

4. Legacy Infrastructure
내부에서 사용하던 많은 서비스
복잡한 관리 방법
서버 실패에 대응 어려움

5. 내부 서비스
JIRA, CONFLUENCE
GIT REPO.
CI Tool, Admin UI, ...

6. 관리 방법
LXC 를 이용해 여러 서버에 배포
서비스별 DBMS
리눅스 패키지로 설치 (+소스 빌드)

7. 문제점 (1)
DB 백업 문제
설치에 관련된 문서 부재
서버 실패에 대한 대책 없음

8. 문제점 (2)
특정 서버에 부하 가중
터미널을 이용해 배포 및 관리
부족한 서비스 모니터링

9. 개선 목표
서버 자원 관리
쉬운 서비스 배포
관리 노하우 공유

10. 자원 관리 플랫폼 선택
Kubernetes
Rancher 1.x
Rancher 2.x

11. Rancher 1.x / 2.x
사용하기 편한 Web UI
2.x 버전에서 Kubernetes 지원
당시 2.x 베타에서는 많은 버그

12. Kubernetes
서버 자원을 한 곳에서 관리할 수 있음
컨테이너를 이용해 간편하게 배포 가능
.. 왠지 재밌어 보였음 ..

13. 컨테이너 이미지
JIRA, Confluence 등 이미 컨테이너 이미지 존재
때로는 직접 이미지 생성하는 작업 필요
.. 그래도 패키지 설치보다 효율적 ..

14. Kubernetes 클러스터 생성
kubeadm, Dashboard
NodePort, NodeSelector
HostPath, EmptyDir

15. Kubernetes 운영 연습
VM 을 이용해 설치 및 운영 연습
남는 서버를 모아 클러스터 구축
내부 서비스를 띄울 Deployment 작성

16. 개선
서비스를 컨테이너로 배포
Dashboard 에서 제어 & 모니터링
서버 자원을 효율적으로 사용

17. Dashboard

18. 효과
Kubernetes에 대한 좋은 첫인상
서비스를 관리하는데 편리
서버를 늘리자고 말할 수 있었음

19. 부족한 점
로컬 디스크 공간 => 컨테이너별 전용노드 할당
서버 실패에 대한 대처 부족
특정 서비스는 컨테이너로 배포하기에 어려움

20. GPU 클러스터 추가
nvidia-docker
nvidia-device-plugin
label: gpu=enabled

21. GPU 어플리케이션 배포
환경변수를 이용해 세부 설정
RollingUpdate => Recreate
Replicas 수를 조정해 배포

22. 배포할 때 겪은 문제
GPU 장치에 문제가 있을경우 알기 어려움
동시에 데이터를 받으려고 시도할 때 네트워크 에러
1 Pod 배포 성공 후에 Replicas 증가

23. 클러스터에 저장소(PV) 추가
Rook, Ceph
BlockStorage, FileSystem
디스크 공간과 컨테이너 분리

24. Rook & Ceph
Rook을 이용해 Ceph 클러스터 구축
컨테이너에 PersistentVolume 제공
복제본을 이용해 데이터유실 가능성 감소

25. 서비스 적용
Docker Registry 저장소를 Ceph 안으로 이동
기존 로컬 저장소를 Ceph로 이전
NodeSelector를 호스트 단위에서 그룹으로

26. 개선
고가용성 Ceph Storage
컨테이너를 특정 노드에 묶어두지 않아도 됨
내부 서비스를 효율적으로 배치 가능

27. Load Balancer 추가
MetalLB
NodePort => LoadBalancer
서비스용 IP 대역 할당

28. MetalLB
ARP (IPv4), NDP (IPv6), BGP
클러스터와 외부 네트워크 연결
CNI는 내부 컨테이너 사이를 연결

29. 효과
MetalLB를 이용해 서비스용 IP 부여
Service에 LoadBalancer 설정 가능
노드 실패 상황에서도 외부 서비스 가능

30. git clone git@host:repo
SSH Port를 이용해 Git 저장소 접근 가능
LB IP:22로 접속해 Git 저장소 clone
http(s)만 가능하던 제약에서 벗어남

31. 클러스터 모니터링
Filebeat, ES, Kibana
Prometheus, Grafana,
Zabbix

32. 모니터링 대상
Filebeat + ES + Kibana => 컨테이너 로그
Prometheus + Grafana => 서비스 Metric
Zabbix => 클러스터 노드

33. Kubernetes Monitoring

34. Workload Monitoring

35. Ceph Monitoring

36. Kubernetes 확장
예상보다(?) 안정적인 Kubernetes
더 많은 서비스를 Kubernetes 안으로
클러스터 노드 추가

37. MySQL Database
mysql-operator를 이용해 Replication 설정
Master/Secondary Failover
그래도 불안하니 RAID 디스크 적용

38. Redis
StatefulSet을 이용해 Redis 클러스터 설정
메모리 사용량이 생각보다 커서 전용 노드로 할당
로컬 디스크 저장공간 사용

39. Cron Job
일정 주기마다 처리할 작업을 컨테이너로
통계 데이터 처리 -> ES & RDB
DB 백업 작업 -> NFS

40. 클러스터 안정성 강화
Kubernetes 클러스터 중요도
MySQL, Redis, Ceph, Cron Job, ...
노드 실패에도 최대한 서비스 가능하도록

41. Master High Availabiliy
안정성 강화를 위해 Master를 3대로 확장
etcd 클러스터 확장
3대인 경우 1대 실패까지 허용

42. Master HA 주의점
클러스터를 생성할 때 같이하는 것을 추천
HA 설정 전 etcd 디렉토리 백업 권장
etcd 별도 클러스터도 고려해볼만함

43. 앞으로 남은 일들
사용자 & 그룹별 권한 부여
컨테이너 상태 확인 (Liveness/Readiness)
용도별 Namespace 관리

44. Q & A

45. 감사합니다
임찬식
chanshik@gmail.com