1.
멀티클라우드, 컴퓨팅 인프라에 제약없는 서비스 생태계
클라우드바리스타 커뮤니티 제7차 컨퍼런스
CLOUD
BARISTA
코르타도(Cortado) 한잔 어떠세요 ?
멀티클라우드 대규모 통합 모니터링
최 수 녕
[세션] CB-Dragonfly
CB-Dragonfly 프레임워크 멤버

2.
목 차
1
CB-Dragonfly 프레임워크 기술 개요
I
CB-Dragonfly 프레임워크 주요 기능 (~Cafe Latte)
II
CB-Dragonfly 프레임워크 로드맵
IV
CB-Dragonfly 프레임워크 개발 현황 (Cortado)
III
CB-Dragonfly 프레임워크 기술 시연
V

3.
CB-Dragonfly 프레임워크 기술 개요
2
*CSP
*CSP: Cloud Service Provider
V
M
메트릭
V
M
메트릭
V
M
메트릭
CSP 별 모니터링 메트릭 제공
• 이종 클라우드 연동 환경에서의 대규모 인프라 서비스 및 쿠버네티스 서비스의 통합 모니터링 기능을 제공하는
멀티 클라우드 통합 모니터링 프레임워크
다양한 이종 환경의 유연한 모니터링
다양한 클라우드 서비스 특화 모니터링
대규모 멀티 클라우드 서비스 모니터링
안정적인 대규모 멀티 클라우드 모니터링을
위한 메시지 큐 기반 모니터링 트래픽
부하분산 및 모니터링 데이터 처리 기능 제공
멀티 클라우드 인프라 서비스, 쿠버네티스 서비스
기반 특화 모니터링 메트릭 발굴 및 수집제공
에이전트 기반 VM, 컨테이너, 쿠버네티스 환경 등
다양한 환경에서 모니터링 기능 제공
As-Is
To-Be
*K8S
Pod
메트릭
NS
메트릭
메트릭
CSP K8S 서비스 별
모니터링 메트릭 제공
Node
*K8S: Kubernetes

4.
• CB-Dragonfly 프레임워크 모니터링 기능 활용 시나리오
CB-Dragonfly 프레임워크 사용자 관점 활용 시나리오
모니터링
에이전트 설치
모니터링 알람
임계치 설정
모니터링
데이터 확인
REST API
& Go API 활용 CLI 지원
API 기반
에이전트 설치
및 알람 설정
<7>
<1>
<2>
<4>
<6>
모니터링
알람 확인
<5>
모니터링
환경 변수 설정
<3>
Config 파일 기반
모니터링 환경 설정
CB-Dragonfly
기능 활용
모니터링 방법(Push, Pull)
모니터링 정책(Agent, CSP)
모니터링 환경
(Max host, Collect interval 등)
모니터링 에이전트
자동 설치
알람 이벤트 핸들러 등록
알람 태스크 생성
설정 환경 조회
콜렉터 동작 제어
메트릭 정보 조회
총 90개의 모니터링
메트릭 데이터 확인
REST API 및 Go API 기반
CB-dragonfly 기능 동작
알람 태스크 기반 알람 진단
Slack, SMTP, HTTP 알람 발생
3

5.
• CB-Dragonfly 프레임워크 모니터링 데이터 수집 방식
• Agent PUSH, Server PULL, On-Demand 등 3종 모니터링 수집 방식 지원
• CB-Dragonfly 프레임워크 모니터링 대상
• VM 모니터링
• CPU, Memory, Disk I/O 등 모니터링 메트릭 제공
• MCIS 모니터링
• File I/O, Network Packets 등 성능 메트릭 제공
• MCKS 모니터링
• MCKS, PMKS 등 쿠버네티스 서비스 모니터링
• 클러스터, 노드, 파드 단위 모니터링 정보 제공
• CPU, Memory, FS, Network 등 모니터링 메트릭 제공
• MCKS 성능 모니터링
• 쿠버네티스 클러스터의 성능 모니터링
• File I/O, Network RTT 등 모니터링 메트릭 제공
CB-Dragonfly 프레임워크 수집 방식 및 모니터링 대상
4
MCIS
VM
K8S
VM
모니터링
에이전트
Node Node
Node
... ...
MCIS 모니터링
MCKS 모니터링
모니터링 대상
모니터링 데이터
수집 방식
PUSH 방식
PULL 방식
On-Demand 방식
VM 모니터링
MCIS
PUSH PULL On-Demand
Namespace
Pod

6.
모니터링 콜렉터
모니터링 데이터 저장 모듈
에이전트 토픽 진단 모듈
CB-Dragonfly 프레임워크 구성도
CB-Dragonfly
통합 모니터링 프레임워크 API
모니터링 정책/알림
매니저
모니터링 알람
모니터링 데이터
진단 모듈
모니터링 데이터
정책 관리 모듈
알람
임계치 설정
알람(Alert)
제공
에이전트
메타데이터 매니저
에이전트 메타데이터
관리 모듈
모니터링 콜러
매니저
콜러 제어 모듈
에이전트 메타데이터
분배 모듈
모니터링 콜렉터
매니저
콜렉터 스케일 인/아웃
정책 관리 모듈
콜렉터 스케일 인/아웃
제어 모듈
모니터링 에이전트
에이전트 API
PULL 모듈 온디맨드 모듈 PUSH 모듈
통합 모니터링 수집 모듈
모니터링 지표 Hereto MC-IaaS (VM-CM) ...
...
메타데이터 전달
콜러 동작 제어
PULL
PUSH
에이전트 상태 전달
토픽 구독
& 데이터 소비
토픽 삭제
토픽 분배
WRITE
메타데이터
관리
데이터 수정
1
2
4
5
8
4
모니터링
데이터 요청
1
3
7 8
1 2
: PULL 메커니즘
: 알림 메커니즘
: PUSH 메커니즘
스토리지
CB-Store
InfluxDB
: 에이전트 메커니즘
모니터링 콜러
에이전트 상태 확인
5
에이전트 상태 관리 모듈
모니터링 데이터
전처리 모듈
PULL-CALLER
(PULL 처리 모듈)
6
2
메타데이터
조회
에이전트 메타데이터
관리 모듈
WRITE
7
3
메타데이터 수정
9
모니터링 데이터
전처리 모듈
PUSH-LISTENER
(PUSH처리 모듈)
5
6
전달

7.
CB-Dragonfly 프레임워크 아키텍처
CB -
Dragonfly
Hetero
MC-
IaaS
Service
&
Platform
웹 도구
통합 모니터링 프레임워크 API
3rd-Party
모니터링 수집 모듈
모니터링 에이전트 모니터링 정책/알람 매니저
MCIS 모니터링
에이전트 PUSH 모니터링 서버 PULL 모니터링 온디맨드 모니터링
모니터링 정책 설정/관리 모니터링 알람 설정/관리
대규모 모니터링/
모니터링 콜렉터 오토스케일링
가상머신 모니터링 컨테이너 모니터링
모니터링 제어 모듈 (Pull & Push)
6
쿠버네티스 모니터링
MCKS 모니터링 PMKS 모니터링

8.
CB-Dragonfly 프레임워크 주요 기능
모니터링 에이전트 모니터링 에이전트 ...
통합 모니터링 프레임워크 API
에이전트 메타데이터 관리 기능
메타 데이터 관리
CB-Dragonfly
모니터링 제어 기능
데이터 수집기 스케줄링
모니터링 에이전트
모니터링 콜렉터
(에이전트 PUSH)
모니터링 콜러
(서버 PULL)
모니터링 데이터 수집 및 저장
(VM, MCIS,MCKS… )
모니터링 데이터 수집 기능
메시지 큐
모니터링 정책/알람 기능
모니터링 알람
모니터링 데이터 진단
모니터링 데이터 정책 설정
주요 기능
모니터링 부하분산 처리 기능
모니터링 에이전트 메타데이터
관리 기능
Push & Pull 방식 모니터링
모니터링 알람 진단 및 제어 기능
TSDB & Key-Value 저장소
에이전트 기반
모니터링 메트릭 수집
개방형 API
메트릭 처리 및 저장 기능
7
다양한 구동 환경 지원
이벤트 핸들러 등록 및 관리
윈도우 운영체제 모니터링 지원

9.
• Hetero-IaaS, 쿠버네티스 환경의 통합 모니터링 메트릭 수집
• 다양한 환경의 모니터링 메트릭 수집 및 Vender Lock-IN 개선
• 사용자 환경에 맞는 다양한 수집 방식 제공
<에이전트 구조 및 쿠버네티스 환경 배포 형상>
Daemon Set
에이전트 기반 모니터링 메트릭 수집 기능 (1/2)
8
Listener
통합 수집 모듈
- REST API 기반 요청 처리 및 모니터링 메
트릭 전달
- Pull, On-demand 모니터링 요청 처리
- 다양한 수집 방식에 대한 통합 모니터링 메트
릭 수집 기능
- 사용자 설정 정보 확인
- VM, MCIS, MCKS 모니터링 메트릭 수집
쿠버네티스 컨셉 공식 문서
https://kubernetes.io/ko/docs/concepts/overview/components
* Vendor Lock-In : 특정 업체의 서비스나 솔루션에 종속되는 현상

10.
에이전트 기반 모니터링 메트릭 수집 기능 (2/2)
• 모니터링 메트릭
• Cafe Latte 버전 기준 총 90개의 모니터링 메트릭 제공
• 메트릭 종류에 따라 VM, MCIS 성능, MCKS 메트릭 제공
9
CPU, Memory, Network 등
57개 제공
VM 모니터링 메트릭
분류 모니터링 항목 개수
CPU cpu_usr, num, … 19개
CpuFreq cpu_speed(freq) 1개
Memory swap_utilization, … 14개
Disk read_time, w_time … 10개
Network errors_in, err_out, … 8개
Process user, pid, pcpu, pmem, … 5개
MCIS 성능 모니터링 메트릭
분류 모니터링 항목 개수
CPU single, multiple 2개
Memory read, write 2개
File I/O read, write 2개
Network rtt/mrtt, packets, … 6개
DB create_time, … 4개
CPU. Memory, File I/O 등
16개 제공
모니터링 메트릭
MCKS 모니터링 메트릭
분류 모니터링 항목 개수
CPU usage 2개
Memory usage, available 2개
Network rx_bytes, rx_errors, … 2개
FileSystem capacity, usage, … 6개
CPU. Memory, Network등
17개 제공

11.
10
CB-Dragonfly 다양한 구동 환경 지원
• 통합 모니터링 프레임워크의 다양한 배포 및 구동 환경 지원
• Container 및 Container Orchestration 환경 상의 모니터링 제공
• Docker-Compose, Kubernetes, Helm 등
Go 바이너리 지원
Docker 지원
Docker-compose
지원
K8s, helm 지원

12.
• 모니터링 PUSH & PULL 메커니즘
PULL & PUSH 방식 모니터링 (1/2)
PULL 방식 (서버 PULL)
PUSH 방식 (에이전트 PUSH)
모니터링 서버
에이전트 에이전트 에이전트
모니터링 서버
에이전트 에이전트 에이전트
• 에이전트에서 모니터링 서버로 데이터 전송
• 최소한의 설정(서버 주소, 수집 주기 등)으로 에이전트
구동 => 대규모 모니터링 환경에 적합
• 모니터링 서버에서 에이전트로 데이터 전송 요청
• 에이전트 접속 허용을 위한 자격 증명, 방화벽 설정 필요
11

13.
PULL & PUSH 방식 모니터링(2/2)
12
퍼블릭 네트워크 환경의 서버 기반
에이전트 모니터링
활용 목적
프라이빗 네트워크 환경의 서버 기반
에이전트 모니터링
Collector Manager + Collector
+ Message Queue
Caller Manager + Caller
활용 모듈
지원
수집 모듈 스케일링 -
Push 모듈
에이전트 메인 모듈 Pull 모듈
통신 프로토콜
HTTP
(REST API)
AMQP
(Advanced Message Queuing Protocol)
Agent – PUSH Server - PULL
지원
쿠버네티스 모니터링 -

14.
• 대규모 환경 모니터링을 위한 콜렉터 확장 기능 지원
• 메시지 큐 기반 메트릭 데이터 수집
• 모니터링 정책에 따른 유연한 콜렉터 Scale in/out
• VM/MCIS: 모니터링 대상(VM) 개수, CSP 종류
• MCKS: 클러스터 개수
모니터링 부하분산 처리 기능 (1/2)
13
멀티 클라우드
통합 모니터링 프레임워크
콜렉터
Scale in /
out
대규모 통합 모니터링
모니터링 정책 기반 유연한 콜렉터 Scale in / out
Stable
콜렉터
콜렉터
콜렉터
에이전트
에이전트

15.
14
• 런타임 환경에 따른 부하 분산 모듈 구조
모니터링 부하분산 처리 기능 (2/2)
바이너리, 컨테이너 쿠버네티스

16.
• 모니터링 Aggregator 모듈
• Aggregate 주기에 따라 캐싱된 모니터링 데이터를 처리 후 TSDB(InfluxDB)에 저장
• Aggregate 함수: MIN, MAX, AVG, LAST
15
모니터링 메트릭 처리 및 저장 기능
• 모니터링 데이터 기본 수집 주기
✓ VM/ MCIS: 2 Sec
✓ MCKS: 30 Sec
• 모니터링 데이터 기본 aggregate 주기
✓ VM/MCIS: 10 Sec
✓ MCKS: 1 Min
Aggregator 모듈 동작 방식

17.
• 모니터링 에이전트 메타데이터 관리 기능
• CB-Dragonfly 프레임워크에서 수집 중인 모니터링 에이전트 목록 관리
• 모니터링 에이전트 태그 정보, CSP 유형, 수집 메커니즘, 헬스체크 상태 저장
16
모니터링 에이전트 메타데이터 관리 기능
VM
MCIS
Agent
MCKS
NS NS
에이전트 메타데이터 매니저
에이전트 메타데이터 관리
CB-Store
에이전트 설치/삭제
에이전트 구동 시 헬스체크 정보 전달
MCIS
VM VM
Agent Agent
Node Node
Agent Agent

18.
17
• 모니터링 알람 진단 및 제어 기능
모니터링 알람 진단 및 제어 기능
1. 이벤트 핸들러 등록 2. 태스크 생성 3. 알람 진단 4. 알람 생성
• 알람 이벤트 핸들러 등록
• Slack, SMTP, HTTP 이벤트
핸들러 지원
• 알람 태스크 생성
• 메트릭 및 알람 임계치 설정
• 메트릭 2종 지원
(warn, critical 알람 레벨)
• 생성된 태스크 기반 알람 진단
• 알람 발생 시 알람 발생
로그 생성
• 등록된 이벤트 핸들러 기반
알람 메세지 전달
HTTP
HTTP

19.
18
• CB-Dragonfly 프레임워크를 활용할 수 있는 다양한 API 도구 제공
• REST API, Go API, CLI 유형으로 CB-Dragonfly 기능 활용
• 참고: CB-Dragonfly 공식 Github Wiki
개방형 API
REST API Go API CLI 도구
• CLI 도구를 통해 CB-Dragonfly
기능 제공
• 환경설정 조회 기능 제공
• 콜렉터 제어 기능 제공
• 메트릭 정보 조회 기능 제공
$ cbmon
cbmon
version
config
collector
metric
start stop list get
get
• REST API 기반 CB-Dragonfly API
기능 제공
• Go API 기반의 CB-Dragonfly API
기능 제공
• gogoproto 라이브러리 기반 Go
API 제공

20.
• 윈도우 에이전트 설치 자동화 도구 지원
• API 기반 cbinstaller 설치 기능 제공
• CLI 명령 기반 에이전트 설치, 제거, 시작, 중지, 재시작 등의 작업 및 서비스 자동 등록/해지 지원
• PUSH 모니터링 메커니즘 기반 일부 모니터링 메트릭 지원
19
윈도우 운영체제 모니터링

21.
• 모니터링 수집 모듈 개발
• 메트릭 처리 모듈 개발
• VM 모니터링 개발
• 최신 데이터 모니터링 개발
• etcd 기반 모니터링 캐싱
멀티 클라우드 모니터링
기본 매커니즘 개발
Americano
CB-Dragonfly 프레임워크 버전 별 개발 현황
20
Cappucino
Espresso
신규 모니터링 메트릭
발굴 및 개발
• VM 모니터링 메트릭 추가 개발
• MCIS 모니터링 메트릭 설계
• 온디멘드 모니터링 설계
• Windows 환경 에이전트
설치 도구 개발
• Kafka 기반 부하분산 모듈 개발
• MCIS 성능 모니터링 메트릭 개발
• 온디멘드 모니터링 개발
• CB-Store 기반 모니터링 캐싱
• 알람 모듈 개발
• Go API 통신 및 CLI 도구 지원
• Cloud-Twin 환경
에이전트 구동
대규모 모니터링
기능 고도화
Café Mocha
Affogato
신규 모니터링
매커니즘 지원
신규 모니터링
런타임 지원
• Push 방식 모니터링
메커니즘 고도화
• 쿠버네티스 런타임 기반
대규모 모니터링 구조 개발
• MCIS 특화 메트릭 추가 개발
• MCKS 모니터링 개발
• PULL 방식 모니터링 개발
• PUSH/PULL 메커니즘 기반
CB-DF 구동 모듈 고도화
• MCIS 특화 메트릭 도출
• MCKS 모니터링 PoC
Café Latte
쿠버네티스
모니터링 지원
• MCKS 모니터링 기능 개발
• MCKS 에이전트 개발
• MCKS 모니터링 메트릭
도출 및 개발
• MCKS 및 MCIS 에이전트 메타
데이터 공통 관리 기능 고도화
1차년도 2차년도 3차년도 4차년도
Cortado
윈도우 운영체제
모니터링 고도화
• MCKS 모니터링 메트릭 확장
• MCKS 성능 모니터링 신규 발굴 및
정의
• 윈도우 운영체제 환경 모니터링
지원 기능 고도화
• Private 도메인 기반 사용자 구축
쿠버네티스 클러스터 모니터링 지원

22.
21
CB-Dragonfly 코르타도(Cortado) 개발 현황
Cortado
개발현황
EXTENSION
• MCKS 모니터링 메트릭 확장
• MCKS 성능 모니터링 메트릭
신규 발굴 및 정의
OPEN S/W
• 사용자 구축 쿠버네티스 모니터링
지원
• Private 도메인 기반 쿠버네티스
모니터링 지원
ADANCEMENT
• 윈도우 인스톨러 기능 고도화
• 윈도우 사용자 가이드 제공
• 윈도우 환경 모니터링 기능 고도화

23.
• MCKS 모니터링 메트릭 확장 및 추가 발굴
• 일반 모니터링 메트릭 수집
• 쿠버네티스 노드 및 파드 단위의 리소스 사용량에 대한 25종 메트릭 제공
• 성능 모니터링 메트릭 수집
• 애플리케이션 최적 배포를 위한 6종 모니터링 메트릭 제공
• API 호출시 JSON 형태로 데이터 수집 및 전달
22
쿠버네티스 서비스 모니터링 메트릭 확장 및 발굴
제공
릴리즈
분류 모니터링 항목 개수 총
Café-
latte
CPU Node_Usage, Pod_Usage 2종
17종
MEMORY Node_Usage, Node_Available… 3종
NETWORK Node_Rx_bytes, Pod_Tx … 8종
FILESYSTEM Node_Runtime_Image_fs_by… 4종
제공
릴리즈
모니터링 항목 설 명 개 수
Cortado
Pod_capacity 클러스터의 파드 생성 전체 용량
6종
Pod_available 클러스터의 파드 생성 가용량
File_read_speed 클러스터의 평균 파일 읽기 속도
File_write_speed 클러스터의 평균 파일 쓰기 속도
Master_worker_rtt 클러스터의 워커 노드와 API 서버 사이의 평균 통신 시간
Worker_worker_rtt 클러스터의 워커 노드 사이의 평균 통신 시간
제공
릴리즈
메트릭
항목
분류 모니터링 항목 개수
Cortado
일반
CPU Node_Usage, Pod_Usage 2종
Memory Node_Usage, Node_Available… 7개
Network Node_Rx_bytes, Pod_Tx_bytes… 8개
FileSystem Node_Runtime_image_fs_bytes… 8개
성능
Pod Pod_capacity, Pod_available 2개
File I/O File_write_speed, File_read_speed 2개
Network Master_worker_rtt, Worker… 2개
메트릭 추가 정의
✔Cpu
✔Memory
✔Network
✔Filesystem
✔Performance
총 31종 메트릭 제공
<모니터링 메트릭 제공 발굴 및 구현 현황>

24.
23
윈도우 운영체제 모니터링 고도화
• 기존 윈도우 운영체제 모니터링 지원 기능 대비 고도화 기능

25.
24
윈도우 운영체제 모니터링 고도화
• DF 에이전트 사용자 수동 설치를 위한 인스톨러 활용 및 윈도우 환경 설정 가이드 제공
• 참고: CB-Dragonfly Github wiki

26.
25
윈도우 환경 인스톨러 기반 에이전트 동작 플로우
User Installer
Setting Config
Agent
Service
Windows OS Agent
Collector
Dragonfly Server
API
Server
Metadata
Manager
Broker
윈도우 환경 설정
(권한, 방화벽)
인스톨러 생성 요청
Cli 기반 에이전트 설치
에이전트 실행 파일 및 설정 파일 설치
에이전트 설정
에이전트 메타데이터 등록
에이전트 윈도우 서비스 등록
메타데이터 등록
모니터링 메트릭 전달 및 Publish
콜렉터 스케쥴링 및 토픽 전달
모니터링 메트릭
Subscribe
Loop

27.
smks.k8s.com
• Private 도메인 기반 쿠버네티스 모니터링 지원
• 사용자 구축 쿠버네티스 환경에 대한 모니터링 지원 확장
• Private 도메인 기반 Proxy 형태의 쿠버네티스 연동 및 모니터링 기능 지원
• <AS-IS> IP, Public 도메인 기반 쿠버네티스 클러스터 모니터링 지원
• <TO-BE> IP, Public, Private 도메인 기반 쿠버네티스 클러스터 모니터링 지원
26
사용자 구축 쿠버네티스 모니터링 지원
사용자 구축 클러스터 모니터링
<클러스터 인증 구조> <도메인 인증 클러스터 에이전트 설치 인터페이스>
smks.k8s.com
20.182.153.24

28.
CB-Dragonfly 프레임워크 기술 로드맵
• 다각적 측면의 모니터링 데이터 수집
✔MCIS 모니터링 메트릭 정의
✔SLA 기반의 가상머신 메트릭 추가 정의
✔온디맨드 모니터링 설계 및 개발
✔MCIS 성능 모니터링 메트릭 정의
• 가상 머신 OS 지원
✔Window용 Agent 지원
✔리눅스 계열 Agent 추가 지원
• 알람 기능
✔알람 모듈 정책 모듈 개발
✔알람 모듈 이벤트 핸들러 개발
✔알람 모듈 개방형 API 제공
• 모니터링 모듈 기본 기능 개발
✔Agent, Collector 가상머신 메트릭 수집 기능 개
발
✔Collector Manager 가상머신 수 기준 모니터링
확장 정책 개발
• 모니터링 개방형 API 제공
✔모니터링, 실시간 모니터링 조회 API 개발
✔모니터링 에이전트 설치 API 개발
✔모니터링 정책 설정 API 개발
• 모니터링 저장소 구축
✔모니터링 DB 저장소 InfluxDB 구축
✔실시간 모니터링 데이터 저장소 etcd 구축
• 다양한 환경의 모니터링 데이터 수집
✔MCKS 환경 모니터링
✔MCKS 환경 특화 모니터링
• 고도화 및 안정화
✔모니터링 에이전트 메타데이터 관리 고도화
✔모니터링 모듈 장기 구동 시 안정성 보장
✔다양한 환경의 에이전트 설치 및 구동 지원
• 수요자 / 시장 요구사항 반영
✓ 윈도우 운영체제 모니터링 지원 업데이트
• 활용, 확산
• 다양한 방식의 모니터링 메커니즘 제공
✔콜렉터 기반 PUSH 방식 모니터링
✔콜러 기반 PULL 방식 모니터링
✔PULL 방식 모니터링을 위한 에이전트 메커니즘 확장
✔PULL 방식 모니터링의 에이전트 관리 기능 제공
• MCIS 특화 모니터링 제공
✔MCIS 그룹 특화모니터링 메트릭 도출 및 제공
• MCKS 모니터링 PoC 개발
✔쿠버네티스 환경 모니터링 PoC 진행
27

29.
멀티클라우드 서비스 공통 플랫폼
CLOUD
BARISTA
코르타도(Cortado) 한잔 어떠세요 ?
CB-Dragonfly 기술 시연
28

30.
멀티클라우드 서비스 공통 플랫폼
CLOUD
BARISTA
코르타도(Cortado) 한잔 어떠세요 ?
29

31.
감사합니다.
본 발표자료에는 네이버에서 제공한 나눔글꼴이 적용되어 있습니다.
멀티클라우드, 컴퓨팅 인프라에 제약없는 서비스 생태계
Cloud-Barista Community the 7th Conference
클라우드바리스타들의 일곱번째 이야기
최 수 녕 / contact-to-cloud-barista@googlegroups.com
https://github.com/cloud-barista
https://cloud-barista.github.io