임태현 / KBS

1. 클라우드와 방송 제작용 스토리지
2016 / 02
KBS 방송시설국 임태현
NAS 구성 및 테스트 결과 공유

2. 1. 현 방송사 스토리지 일반 구성
2. 클라우드에서 기존 방식으로 구성 어려운 이유
3. 클라우드 인프라를 위한 공유 스토리지 구성
4. 문제점과 보완하기 위한 노력
5. 공유파일시스템 PoC 대상 3가지 솔루션
6. 제품화 개발 및 테스트 과정
7. 향후 계획
• 이중화 구성 테스트
• 오픈스택 Ironic과 결합 테스트
• KBS 고속전송 & Swift-on-File & TR과 결합개발
• 차기 버전 개발 테스트
Agenda

3. 2
1.1. 방송사 스토리지 일반 구성
스토리지
데이터를 보관하는 장소
저장 장치 + 파일시스템
방송사 제작 워크플로우
거대한 스토리지(RAID, LUN, 공유파일
시스템...)를 중심으로
프로그램 별로 복수의 작업자들이
협업하며 순차적으로 이루어짐
편성에 따라 다수의 파일이 반복적이고
주기적으로 생성, 수정, 삭제

4. 3
1.2. 방송사 스토리지 일반 구성

5. 4
LTO-6 데이터 테입
SL8500, T-Finity…
1.3. 방송사 스토리지 일반 구성
ARCHIVE CMS NAS G/WSNFS MDC TM
SAN Director
(Brocade) Giga Ethernet
Fibre Channel
MAIN
FC
FC
원본
SAS 900GB/10K
SAS 디스크 스토리지
High-End ~ Mid-range
FC
FC
백업본
NL-SAS 3TB/7.2K
고용량 SATA 디스크 스토리지
Mid-range…
BACKUP
FCFC
TAPE LIBRARY
NLETR

6. 5
2.1. 클라우드에서는 왜 힘든지...
▶SAN Director 벤더 Brocade만 남음
• 예전에는 QLogic도 있었는데...
▶FC HBA Card 고정 할당
• N-Port ID Virtualization이 있지만...
• 차라리 10GE NIC 장착하고 SR-IOV를 쓰자!
▶SAN 공유파일시스템 Client License issue
• 편집실 주로 사용하는 Mac OS X는 XSAN 탑재
• 하지만, 오픈스택 Guest OS로 MAC OS X 미지원
• 리눅스, 윈도우는 VM도 실물 환경과 똑같이 카운팅

7. 6
2.2. 클라우드에서는 어떻게...
▶스케일-아웃 방식의 NAS가 적합하다고 판단
• 별도 공유파일시스템 소프트웨어가 아닌 범용 프로토콜 사용
• KBS 뉴스룸, 라디오에서 EMC 스케일-아웃 NAS Isilon
▶이 때, NAS의 SAN 공유볼륨 구성 대비 문제점
• Block I/O vs File I/O
• Latency, Sustained I/O

8. 7
3.1. 문제점 극복 노력 – DLC
▶FC SAN Client(SNFS)를 탑재하고 SNFS Lan Client
• 급히 편집 공간 마련을 위해
iMac 임대 후 Ethernet 1GE
• NPS 내부 소프트웨어 그대로,
제작진 차이 모르고 작업
▶SAN과 같은 볼륨을 경제적으로 사용한다는 측면에서 큰 장점
▶TV기술국에서 이번 설특집에 활용함

9. 8
1. OpenStack에 새로운 VM Instance 생성
3.2.1. iSCSI TEST w/ Offload & MTU9000
▶목적 • Ethernet 레벨의 TOE 관련 설정으로 GlusterFS를 구성하는
Cinder Volume 성능 향상이 가능한지 확인
▶방법 • OpenStack Compute Node - Storage 10G NIC 설정을 변경하며
성능 개선 효과가 있는 값을 확인
테스트 진행 순서
2. 생성된 Instance에 Cinder Volume 할당
3. 해당 Compute Node의 10G NIC Parameter 확인 및 변경
4. 설정 변경하며 Cinder Volume에 150GB 단위 쓰기 성능 측정

10. 9
3.2.2 iSCSI TEST w/ Offload & MTU9000
MTU 9000, TSO GSO GRO LRO off : 285.721 s, 550 MB/s
MTU 9000, TSO LRO off, GSO GRO on : 298.793 s, 526 MB/s
MTU 9000, TSO LRO on, GSO GRO off : 295.395 s, 532 MB/s
MTU 9000, TSO GSO GRO LRO on : 297.76 s, 528 MB/s
MTU 1500, TSO GSO GRO LRO on : 267.694 s, 588 MB/s
MTU 1500, TSO LRO off, GSO GRO on : 299.381 s, 525 MB/s
MTU 1500, TSO LRO on, GSO GRO off : 276.379 s, 589 MB/s
테스트 결과

11. 10
4.1. 공유 파일시스템 비교
▶Quantum SNFS
• 국내외 방송제작시스템 환경에서 기준
• Linux, Mac, Windows 환경을 아우르는 Block I/O
• 별도 가상환경 라이선스 정책 없고 VM당 부과
▶Quantum LAN Client : 기존 SNFS 볼륨과 호환성 유지 가능
▶Intel Lustre : HPC, Throughput/OSS 스케일아웃, MDS, MDT
▶Redhat GlusterFS : 단순한 구성 및 안정성, Scale-out 방식 확장

12. 11
4.2. NAS 설계 시 고려한 부분
▶고속 저장장치를 조합 (All Flash 등)으로 Latency 극복
• Multi-stream 아직은 윈도우만 이지만
• Samba VFS for GlusterFS로 논리/물리 레이어를 단축
▶고속 네트워크를 조합 (IB RDMA)으로 병목 없는 I/O
▶SMB3: Linux Samba 4.x, Mac Yosemite, Windows 8/2012
▶물리 장비당 적정 RAID Controller 구성
▶제품화를 위한 에코시스템

13. 12
5.1.1. 1차 테스트 - Intel Lustre
MDS
SanDisk Infini-Flash
IF100 SSD 64TB
SX6012 56G Infiniband Swtich
SMB3
G/W#2
EX4550 32F 10G Switch
6G SAS x 4
56G FDR
10G x 4
Linux Native
OSS Node#1 OSS Node#2
SMB3
G/W#1
Client ClientClient Client

14. 13
5.1.2. LustreFS IO측정 결과 – WIN OS
OS
테스트
장비
테스트결과
(평균속도,
MB/S)
테스트 결과2
(시간별 IO패턴, X : MB/S, Y : Sec)
R:W=7:3
IO 측정
Win7
(SMB2)
573.45
Win8
(SMB3)
577.63
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295

15. 14
5.1.3. LustreFS IO측정 결과 - MAC OS X
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
OS
테스트
장비
테스트결과
(평균속도,
MB/S)
테스트 결과2
(시간별 IO패턴, X : MB/S, Y : Sec)
R:W=7:3
IO 측정
MacBook 599.97
MacPro 891.49
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295

16. 15
5.1.4. LustreFS 테스트 결과 – Latency (IOPing), NLE 편집
테스트 항목 테스트결과 비 고
Latency -
HD 멀티캠 편집 양호
테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)
테스트방법 : 16 stream 멀티캠 편집시 Frame Drop 미발생
UHD(3840X2160p 30p) 편집 보통
테스트영상 : (3840x2160 30p)
테스트방법 : 2 stream 편집시 Frame Drop 미발생
테스트 항목 테스트결과 비 고
Latency
4KB : 300us
8MB : 20ms
IO ping 테스트 수치
HD 멀티캠 편집 양호
테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)
테스트방법 : 16 stream 멀티캠 편집시 Frame Drop 미발생
UHD(3840X2160p 60p) 편집 양호
테스트영상 : ProresHQ 1.5Gbps (3840x2160 60p)
테스트방법 : 1 stream 멀티캠 편집시 Frame Drop 미발생
▶ Win(EDIUS)
▶ MAC(FCPX)

17. 16
5.1.5. 1차 테스트 - 효성 Gluesys Anycloud-K
EX4550 32F 10G Switch
6G SAS x 2
10GE
Client Client
R720
GlusterFS Node#1
R720
GlusterFS Node#2
Client Client
R720
GlusterFS Node#3
R720
GlusterFS Node#4
SX6012 56G Infiniband Swtich
SanDisk Infini-Flash
IF100 SSD 64TB

18. 17
5.1.6. Anycloud-K IO측정 결과 – WIN OS
OS
테스트
장비
테스트결과
(평균속도,
MB/S)
테스트 결과2
(시간별 IO패턴, X : MB/S, Y : Sec)
R:W=7:3
IO 측정
Win7 #1
(SMB2)
921.24
Win7 #2
(SMB2)
882.29
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295

19. 18
5.1.7. Anycloud-K IO측정 결과 - MAC OS X
OS
테스트
장비
테스트결과
(평균속도,
MB/S)
테스트 결과2
(시간별 IO패턴, X : MB/S, Y : Sec)
R:W=7:3
IO 측정
MacBook 752.05
MacPro 772.17
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295
0
200
400
600
800
1000
1200
1
8
15
22
29
36
43
50
57
64
71
78
85
92
99
106
113
120
127
134
141
148
155
162
169
176
183
190
197
204
211
218
225
232
239
246
253
260
267
274
281
288
295

20. 19
5.1.8. Anycloud-K 테스트 결과 – Latency (IOPing), NLE 편집
테스트 항목 테스트결과 비 고
Latency -
HD 멀티캠편집 양호
테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)
테스트방법 : 16 stream 멀티캠 편집시 FrameDrop 미발생
UHD(3840X2160p 30p) 편집 양호
테스트영상 : GVHQ 1Gbps (3840x2160 30p)
테스트방법 : 3 stream 멀티캠 편집시 Frame Drop 미발생
테스트 항목 테스트결과 비 고
Latency
4KB : 300us
8MB : 10ms
IO ping 테스트 수치
HD 멀티캠편집 양호
테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)
테스트방법 : 16 stream 멀티캠 편집시 FrameDrop 미발생
UHD(3840X2160p 60p) 편집 양호
테스트영상 : ProresHQ 1.5Gbps (3840x2160 60p)
테스트방법 : 2 stream 멀티캠 편집시 Frame Drop 미발생
▶ Win(EDIUS)
▶ MAC(FCPX)

21. 20
솔루션 평균속도(R:W=7:3) 편집테스트 I/O안정성
검토
의견
Red Hat
Storage
Server
X X Bad
테스트 참가업체
엔지니어
설정 미숙으로 실패
Intel Luster
File System
660.64 MB/s
4K영상 1개
맥 프로에서NLE 재생
Normal
구성
난이도 높음
효성 Gluesys
Anycloud-K
831.94 MB/s
4K영상 2개
맥 프로에서NLE 재생
Good
KBS 기획/설계한 네트워크 및 All-Flash
기 반 아 키 텍 처 를 채 택 해 도 효 성
글루시스에서 기존 엔진으로 사용하던
CephFS는 방송용 FS로 불가함.
→ KBS가 월드 자막제작시스템에서 직접
구축하여 사용중인 GlusterFS 및SMB설정
구성변경 제안 반영 후 성공
5.1.9. 1차 테스트 결과 종합

22. 21
SanDisk All Flash
IF100 SSD 128TB
R820
Gluesys node#1
SX6012 56G FDR Infiniband Swtich
R730
Anywhere
6G SAS x 2
(4 lane in)
56G RDMA
10G x 2
R720
Gluesys node#2
R720
Gluesys node#3
R720
Gluesys node#4
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
EX3300 1GE 24port & 10GE 4port Switch
40GE
1G
MNC Backbone Switch
NPS Access Switch
5.2.1. 2차 테스트 – Adobe Anywhere

23. 22
5.2.2. 2차 테스트 결과 종합

24. 23
5.2.4. 1& 2차 테스트 장비 구성
▶Dell R720 서버 5식
▶Mellanox Infinband 스위치 (SX6012 56G FDR)
▶SanDisk Infiniflash IF100 64TB (1차)
▶Juniper 10G 이더넷스위치 (EX3300 10GbE)
▶SanDisk Infiniflash IF100 128TB (2차)

25. 24
5.3.1. 3차 테스트 장비 구성
▶Dell R730, CPU E5-2660v3 10 Core x 2, RAM 64GB
Dell R730, CPU E5-2643v3 6 Core x 2, RAM 64GB
Dell R730, CPU E5-2623v3 4 Core x 2, RAM 64GB
Dell R720, CPU E5-2697v2 12 Core x 2, RAM 64GB
▶Mellanox SX6012 FDR(56Gb/s) Infiniband Switch
▶Huawei Quidway S6700 10GbE 24 port Switch
▶Samsung SSD SM863 1.92TB x 28

26. 25
MAIN (SSD 48TB) DISTRIBUTED
OpenStack
NOVA
40GE x 2 Uplink
OpenStack
NOVA
OpenStack
NOVA
OpenStack
NOVA
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
40GE
MNC Backbone Switch
MNC Access Switch
EX4550 32T 1GE Switch
MNC Backbone Switch
EX4550 32F 10GE Switch
EX4550 32T 1GE Switch
V·C
OpenStack
NOVA
1GE
10GE
Anycloud-K #3
SSD 12TB 메인
Anycloud-K #4
SSD 12TB 메인
Anycloud-K #1
SSD 12TB 메인
Anycloud-K #2
SSD 12TB 메인
SX6012
40GE & 56G IB Switch
10GE
56G IB
(RDMA)
EX4550 32F 10GE Switch
SX6012
40GE & 56G IB Switch
vm vm
5.3.2. 3차 테스트 – IPoIB 진행중
SMB3 1세션 1.2GB/s
FUSE 노드당 2GB/s
VFS 노드당 3GB/s

27. 26
5.3.3. 3차 테스트 – RoCE 다음 주
MAIN (SSD 64TB) & BACKUP (8TB CACHE on HDD 64TB) REPLICA
Anycloud-K #1
NL-SAS 16TB 백업
Anycloud-K #2
NL-SAS 16TB 백업
OpenStack
NOVA
40GE x 2 Uplink
OpenStack
NOVA
OpenStack
NOVA
OpenStack
NOVA
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
Premiere
Client
MNC Backbone Switch
MNC Access Switch
EX4550 32T 1GE Switch
MNC Backbone Switch
EX4550 32F 10GE Switch
EX4550 32T 1GE Switch
V·C
OpenStack
NOVA
1GE
10GE
Anycloud-K #3
SSD 16TB 메인
Anycloud-K #4
SSD 16TB 메인
Anycloud-K #1
SSD 16TB 메인
Anycloud-K #2
SSD 16TB 메인
10GE
40G RoCE (RDMA)
EX4550 32F 10GE Switch
vm vm
MLAG
Anycloud-K #3
NL-SAS 16TB 백업
Anycloud-K #4
NL-SAS 16TB 백업
dm-cache 2TB dm-cache 2TB
dm-cache 2TB dm-cache 2TB
MSX1710-BS2F2
40GE Switch
MSX1710-BS2F2
40GE Switch

28. 27
5.4. Anycloud-K 장점 요약 (홍보)
GUI 상에서 클러스터/성능
/권한 관리 등이 쉽게 가능
Apple Open Directory와 계정
연동 관리 가능 (Isilon 안됨~)
방송 제작 미디어 환경에
알맞는 설계/가혹한 테스트를
KBS에서...
공급/유지보수는
효성인포메이션시스템이...
15년간 국산 NAS 개발사
Gluesys, 한국에 있음
미드레인지 가격,
하이엔드를 뛰어넘는 성능

29. 28
6. Reference(?)
KBS월드 자막제작시스템
GlusterFS 자체구성/운용중
다국어 자막제작/영상편집
AVID Media Central GlusterFS
방송미디어 세상의 오라클이...
MBC, CJ E&M에 도입

30. 29
7. 향후 계획
▶40G RoCE 활용 이중화 테스트
• RDMA over Converged Ethernet
• Multi Chassis Link Aggregation
▶오픈스택 Ironic과 결합 테스트
▶KBS 고속전송 & Swift-on-File & TR과 결합개발
• K-Drive 라는 서비스 네임, 제작용으로 활용
▶차기버전 개발 테스트 (NVMe + EDR + SMB3)
• NVMe SSD
• EDR or 100GbE
• SMB3 (multi-stream, samba direct)

31. Thank you