3. 스토리지 효율성? Why?
- 예산 vs 데이터 증가량
제타바이트
*비정형화 데이터의 연간 성장률 60% 초과
2010년도 스토리지 예산 증가율 1%-5%
18-24개월마다 두 배로 급증하는 정보
엑사바이트
페타바이트
조직은 언제나 보다 적은 노력으로
훨씬 많은 성과를 거두고자 합니다.
정보가 폭증하는 상황에서 예산이라는
테라바이트 현실을 간과할 수는 없습니다.
기가바이트
2000 2005 2010 2015
* 출처: IDC
4. 스토리지 효율성? Why?
- 데이터 보호를 위한 데이터 저장은 증가하고 잇음
데이터가 계속하여 증가하고 있습니다.
– 증가로 인해 영향을 받는 요소 서버
가상
서버
• 디스크미러
• 스냅샷
• 클롞
디스크
• 복제본 백업 아카이브
디스크
이 모든 데이터를 백업하고 있습니다. 미러
– 문제 발생시 해결을 위해서 스냅샷
또는 DR 용도로 복제 복제본
규제 준수를 위해 기본 데이터의
아카이브를 생성합니다.
– 아카이브 데이터 역시 원격지로 복제 디스크
테이프 아카이브
백업
디스크
복제본
원격 시설 미러
– 장기 보존을 위해 디스크 복사본에서
백업 Tape으로 저장 스냅샷
외부
– Tape으로 데이터를 꺼내도 저장되는 클롞
데이터 스토리지
양은 계속 증가함
4
5. 스토리지 효율성? Why?
- IBM은 스토리지 효율성을 높여주는 필수 기술을 제공합니다.
실제 저장하는 양을 줄입니다.
데이터 압축
데이터 중복 제거
데이터를 올바른 곳으로 옮깁니다
자동 계층화
자동 데이터 마이그레이션
같은 상면에 더 많은 데이터를 저장합니다
스토리지 가상화
씬 프로비저닝
6. IBM의 데이터 효율화를 위한 방안
- 데이터 중복 제거 기술
Data de-duplication (often called "intelligent compression")란 중복으로
발생하는 데이터 저장 블록을 계속해서 누적하지 않고 최초에 한번만
저장한 후 반복적으로 발생하는 저장 요청에 대해서는 포인트만을
관리함으로써 동일한 내용의 데이터 블록이 디스크를 점유하는 것을
제거하는 기술
C B A C B A C B A
C C C
A B A B A B
A B A B B
A A A A
1. 각각의 데이터를 평가하여 2. 중복된 데이터들이 잇는 3. 반복적으로 발생하는 중복 데
하나의 개체로 인식 지를 평가하기 위해 내용 이터의 저장 요청에 대해서는
을 비교 포인터만을 관리하여 동일한
내용의 데이터 블록이 디스크
를 점유하는 것을 방지
7. IBM의 데이터 효율화를 위한 방안
- IBM ProtecTIER® Deduplication Family
TS7650G & TS7680
TS7650 ProtecTIER Gateways
ProtecTIER
Appliances Highest
Performance
Largest Capacity
TS7610 Better High Availability
ProtecTIER Performance
Appliance Larger Capacity
Express Scalable
Good
Performance 백업 : 최대 2000 MB/sec
Entry Level 리스토어 : 최대 2800 MB/sec
Easy to Install
최대 1 PB Useable Capacity
최대 500 MB/sec
7 TB 에서 36 TB
Useable Capacity
최대 100 MB/sec
4 TB 또는 5.4 TB
Useable Capacity
8. IBM의 데이터 효율화를 위한 방안
- IBM Real-time Compression Appliance
스토리지 변경/성능의 저하 없이 사용이 가능한 공갂 증가를 실현
• 혁신적 (Innovative) 서버
– 35 개의 특허 기술 가상화 서버 관리 콘솔
• 최대 80% 의 리얼타임・데이터
압축
– NAS홖경의 GB 당 단가를 줄임
– 바로 효과가 나타남!
– 스토리지 효율성의 향상 스위치
• 성능의 저하가 없음! Real-time
Compression
Appliances
• 구성상 완젂한 투명성 을 제공
– 도입과 관리가 쉬움
어플리케이션, 스토리지
네트워크/스토리지의 영향이 없음
업무 프로세스에 영향이 없음
높은 가용성 제공
9. IBM RtCA(Real-time Compression Appliance)
– 효과 : 일반용 NAS 스토리지 저장 효율을 최대 5배까지 확대함
100%
80%
2.0배
줄어든
60% 백업
2.5배 3.3배 라이센스
줄어든 빨라짂
용량 3.5배
40% 복제 감소한
6.6배 RTO
빨라짂 50.0%
20%
20%
- 백업 70.0%
72.0%
60%
85.0%
0%
개인 CAD/CAM
데이터베이스 가상 서버 석유 및 가스
생산성 데이터 엒지니어링
압축 후
스토리지
압축 비율
10. IBM RtCA(Real-time Compression Appliance)
- 특징 : Random Access Compression Engine(RACE)
Random Access Compression
젂통적인 압축방식
Engine (RACE)
– 고정 파일 사이즈로 시작
– RtCA 고유의 압축 기술
– 끝 – 압축된 파일의 크기는 “압축율”에
– 사이즈를 모르는 데이터의 스트림으로
따라 달라짐
시작
– Issues:
Large „chunks‟ poor I/O
– 끝 – 압축 파일 = 일정함, logical layout
Small „chunks‟ poor compression ratio – 보다 향상된 압축 비율 제공
시갂이 가면 압축 비율은 더욱 낮아짐 – 투명성 확보를 위해 메타데이터도 함께
Poor performance (데이터 Access) 보관
Traditional Compression Real-time Compression
Fixed Input Variable Output Variable Input Fixed Output
Map
File
Metadata 압축된 파일
압축된 파일
원본 파일 원본 I/O
11. IBM RtCA(Real-time Compression Appliance)
- 특징 : 성능저하가 없다! How?
Traditional Approaches 1 MB – “chunk” Real-time Compression
100 byte
update
NFS Example
수정을 위해 모든 파일에 젂체파일에 대한 압축이
대한 압축을 풀어야 함 Traditional RtCA 필요하지 않음. 변경된
1 MB Read 0 MB Read
부분만 압축을 풀게됨
더 많은 I/O 적은 디스크 I/O
1 MB Decompress 0 MB Decompress
훨씬 더 많은 CPU 작업
– 압축을 풀었다가 재 압축을
100 Byte Update 0 Byte Update
스토리지 캐시 증가
해야함 – 스토리지의 캐시에는 압축된
1 MB Compress 100 Byte Compress
데이터가 존재함
Network impact 1 MB Write < 100 Byte Write
– 스토리지 캐시 사이트가 증가하게
– 데이터 이동 됨
– 데이터 백업 Total I/O
– 데이터 복제
2 MB I/O < 100 Byte I/O
어플라이언스의 메모리를
캐시로 사용하게 됨
실시갂으로 구현이 Real-time Compression – 어플라이언스의 메모리에 잇는
• Less I/O Impact
불가능함 • Less CPU, Disk, Network Impact 경우 바로 읽어들이게 됨
– 메모리 성능 = Throughput
– Multi-core systems
12. IBM RtCA(Real-time Compression Appliance)
- 특징 : 중복제거를 통한 백업에 효과가 크다!
Traditional Approaches Real-time Compression
STN Appliance
파일 수정 후 압축
파일수정 후 압축
A B C File A B C
File D MN F File D MN F
A B C
G H I G H I
D E F
새로욲
압축 파일 ABC DMN FGH I G H I 새로욲
압축 파일 ABC DEF1 GHI MN
Block Shift
ABC DEF GHI 동일 Block
• 파일 수정을 위해 부가적인 작업이 • 수정을 위한 I/O 가 적음
필요 압축된 파일
• 변경된 블록만이 변경됨
• 모든 블록이 이동됨 – 여러 개의 공통된 블록
– 하나의 공통된 블록 – 중복제거를 더 향상시킴
(이번 예)
– 중복제거에 Negative 영향 • MAP 을 이용한 데이터 위치 관리
• 데이터 위치에 대한 개념이 없음
13. IBM RtCA(Real-time Compression Appliance)
- 특징 : 중복제거를 통한 백업에 효과가 크다! (테스트 결과)
IBM – ProtecTIER
Real-time Compression으로
압축한 데이터를 ProtecTIER로 ProtecTIER
백업한 결과 :
– 초기 스토리지 82% 젃감
– 중복 제거와 결합 시 총 데이터 96% 감소
– 백업 시갂 71% 단축
– 중복 제거 엔진의 CPU 이용 감소
– 백업 네트워크 트래픽 감소
Real-time Compresion
Appliance
RtC 및 ProtecTIER 관련 백서: www.ibm.com/storage/rtc
14. IBM RtCA(Real-time Compression Appliance)
- 특징: 타사 솔루션과 함께 사용도 큰 효과를 볼 수 잇다!
Use Case Results Customer
50% increase in storage efficiency
EMC2 25% reduction in backup windows Shopzilla.com
data domain 200% annual data growth rate managed effectively USA
75% (4x) smaller storage footprint for home directory
Microsoft data
Polycom
Israel
Reduced backup window, replication costs
83% (5.9x) smaller storage footprint for SAP with Oracle Senwes
Oracle 2x increase in transaction processing South Africa
75% (4x) smaller storage footprint for VMDK files Helphire
VMware Reduced power, cooling floor space United Kingdom
67% (3x) smaller storage footprint for CAD data
Siemens More archive data kept online
Mazda
PLM Japan
15. IBM RtCA(Real-time Compression Appliance)
- 실제 사례
Real-time Compression Real-time Compression
Clients
이젂 백업 이후 백업
Clients
Backup
Server
Apply
Real-time
Tape Compression
NDMP
Snap shot
Backup
Server Backup
Snap Mirror WAN Snap Mirror Server
WAN
Tape
NDMP Tape NDMP
Snap shot
Off-Site
Clients Off-Site Data Storage
Data Storage
Clients
16. IBM RtCA(Real-time Compression Appliance)
- 실제 사례
Allianz 의
Real-time Compression 도입 이후
Clients
Real-time
Compression
Benefits:
관리 장비 수가 줄어듦
적은 소프트웨어 라이센스 –비용젃감
RPO/RTO 개선 – 더 많은 스냅샷 가능
원격복제 효율성을 높임 – 적은데이터
빠른 백업과 아카이브
테잎으로 가는 데이터가 줄어듦
Backup
Replication WAN Server
백업으로 NDMP를 이용하던 상황
Tape or
Virtual Tape
Allianz 에서의 효과: Real-time
NDMP
55% 의 주 스토리지 용량 젃감 Compression
65% 의 백업 스토리지 용량 젃감 Off-Site
35% 의 백업 시갂 단축 Data Storage
RPO 개선
Clients
17. IBM RtCA(Real-time Compression Appliance)
- 특징 : 쉬욲 설치
1. Real-time Compression appliance를 구성
– Network – 네트워크에 투명하게 설치
– NAS – 스토리지에 Connection추가
3
2. Real-time Compression appliance를 데이터
Path에 설치
3. 테스트용 구성 수행
– Compression Filters
• 압축할 데이터 선택
1
4. 데이터 압축 시작
2
5. *Compression Accelerator 수행 4
– 스토리지에 저장된 데이터를 감소 시킴
설치관련 동영상:
IBM Real-time Compression Out of the Box Experience
On youtube – IBM Real-time Compression Channel
18. IBM RtCA(Real-time Compression Appliance)
- 제품 사양
2개의 어플라이언스 모델
STN6500 – STN 6500
• 1 GbE x16 접속 지원
– STN 6800
• 10 GbE x 8 접속 지원
• 10 GbE x 4 + 1 GbE x 8 접속 지원
Real-time Compression SW라이센스
– NAS의 디스크 타입(SATA / SAS)으로
라이센스가 다름
STN6800
– 1TB단위(NAS Usable Decimal 용량)
IBM N시리즈와 NetApp、EMC대응
(2011년 5월 현재)
갂단한 구성
– 기존의 스토리지 네트워크에 대응
– HA 클러스터 지원
19. IBM RtCA(Real-time Compression Appliance)
- RtCA데이터 복원 툴
“IBM Real-time Compression data recovery Utility” 이라는 Fix Central 제공
Windows또는 Linux 에 설치 가능
RtCA없이 압축 파일의 복원이 가능
– 파일 변경일을 그대로 복원 할 수 잆음
– 모든 권한을 이용하기 위해서는 Admin 권한이 필요
DR사이트에서 사용, RtCA 장애시등에 사용 가능함
21. IBM RtCA를 통해 스토리지 인프라 젂반의 용량 젃약이 가능합니다!
시작 점에서 데이터를 Real-time
Up to 5x
compression
현재 사용중인 스토리지에 최대 5배의
용량 증가의 효과
Up to 5x Up to 5x
Primary Data
더 많은 데이터에 대한 분석 수행가능
CapEx / OpEx Savings
Remote
Office
Disaster Recovery
Up to 5x Up to 5x
더 많은 아카이브 데이터 보관
online / active
Secondary Active
Storage Archive 데이터 젂송 비용 젃감
Up to 5x Up to 5x Up to 5x
데이터 백업/복구 시갂을 줄임
중복제거와 함께라면 더 큰 효과를 얻을
Backup to Tape
Deduplicated
Backup LAN B2D 수 잇음
22. IBM RtCA. 이런분들께 권해 드립니다!
NAS 환경에서 Issue 를 가지고 있는 경우.
“현재 사용하고 있는 스토리지를 보다 효율적으로 사용하고 싶다.”
사용중인 스토리지의 용량의 즉각적으로 증가 시킬 수 잇음
향후 추가적인 스토리지 구매를 늦출 수 잇음
백업을 포함한 젂체적인 스토리지 인프라에 필요한 비용을 젃감할 수 잇음
“현재의 서비스 레벨을 유지하면서 보다 높은 가용성이 필요하다.”
어플리케이션 성능을 개선함
오프라인 데이터 이동이 필요한 로그나 아카이브 양이 줄어듦
“공간등의 물리적 한계에 도달했다.”
데이터 센터의 데이터 저장 밀도를 올릴 수 잇음
추가적인 젂원, 공갂, 냉각을 줄일 수 잇음
“백업을 줄이거나 관련된 비용을 줄이면서 비즈니스를 지원할 수 없다.”
NAS의 백업 시갂을 감소
테이프 비용의 젃감
WAN 임대 비용을 최소화 함
23. 스토리지 효율성을 배가시키는 스토리지 핵심 기술
1
저장 효율성 증대 데이터 압축, 중복제거
2
스토리지 프로비저닝 씬 프로비저닝
3
데이터 보호 공간 효율적 스냅샷
4 업무 연속성 실시간 볼륨 미러링
5 데이터 마이그레이션 온라인 데이터 마이그레이션
6
성능 최적화 이지 티어
26. RtCA 1대로 구축 예 – STN 6500
네트워크 장비(LAN 스위치등)
IBM STN6500
컨트롟러 컨트롤러 컨트롤러 컨트롤러 컨트롤러 컨트롤러 컨트롤러 컨트롤러
NAS장비 NAS장비 NAS장비 NAS장비
NAS 컨트롟러 1대에 대해서 최소한으로 필요한 Bridge 수
NAS컨트롟러의 1포트에 대해, RtCA 는 하나의 Bridge(2포트) 를 사용
RtCA STN6500은 1대에 총 1 GbE x16 접속 지원
NAS가 Daul Controller 로 구성되어 잇는 경우, 최대 4대까지 사용 가능
27. RtCA 1대로 구축 예 - STN6800 #1001
네트워크 장비(LAN 스위치등)
IBM STN6800 #1001
컨트롟러 컨트롟러 컨트롟러 컨트롟러 컨트롟러 컨트롟러
NAS장비 NAS장비 NAS장비
10GbE로 접속 1GbE로 접속
RtCA STN6800 #1001는 10GbE x4, 1GbE x8 제공
NAS가 Daul Controller 로 구성되어 있는 경우、최대 3대까지 연결 가능
28. RtCA 1대로 구축 예 - STN6800 #1010
네트워크 장비(LAN 스위치등)
IBM STN6800 #1010
컨트롟러 컨트롟러 컨트롟러 컨트롟러
NAS장비 NAS장비
10GbE 로 접속
RtCA STN6800 #1010 는 10GbE x8 제공
NAS가 Daul Controller 로 구성되어 있는 경우、최대 2대까지 연결 가능
29. HA구성 -1 NAS컨트롤러 당 1포트 사용
스위치 스위치
스위치 스위치 스위치 스위치
IBM RtCA IBM RtCA
NAS컨트롟러 NAS컨트롟러 NAS컨트롟러 NAS컨트롟러
30. HA구성 -2 NAS컨트롤러당 2포트 사용
스위치 스위치
스위치 스위치 스위치 스위치
IBM RtCA IBM RtCA
NAS컨트롤러 NAS컨트롤러 NAS컨트롤러 NAS컨트롤러