기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결 방안 모음-김용기, AWS Storage Specialist SA / 한소영, AWS Cloud Support Engineer / 박양수, AWS Technical Account Manager::AWS 마이그레이션 A to Z 웨비나

기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결 방안 모음
© 2022, Amazon Web Services, Inc. or its affiliates.
기술 지원 사례로
알아보는 마이그레이션
이슈 및 해결 방안 모음
김용기
Storage Specialist SA
AWS
박양수
Technical Account Manager
AWS
한소영
Cloud Support Engineer
AWS

클라우드 마이그레이션의 비즈니스 동인
2
민첩성 및 직원
생산성
아웃소싱 변경
EOL HW/SW
해외 진출
M&A
향상된 보안
운영 탄력성
비용 절감
IoT 와 AI/ML
데이터 센터 통합 디지털 변환

Why AWS
3
가장 포괄적이고 성숙한 마이그레이션
도구
마이그레이션 프로세스의 각 단계를 간소화하고
가속화하기 위한 AWS 마이그레이션 도구 및
성숙한 3rd party 마이그레이션 도구 에코시스템
가장 많은 마이그레이션 경험
백만 명이 넘는 고객
주요 고객사가 AWS로 마이그레이션
가장 완벽한 마이그레이션 솔루션
클라우드 여정을 가속화하기 위한 일련의 프로그램
및 솔루션
넓은 파트너 에코시스템
클라우드 마이그레이션을 assess, mobilize 및
execute 할 수 있게 도와주는 110개 이상의
마이그레이션 인증 파트너, ISV 및 SI

클라우드로 마이그레이션할 때
주로 어떤 방법을 사용하나요?
4

마이그레이션 규모와 전송 방식
5
AWS Direct Connect
AWS Site-to-Site VPN AWS Snowcone AWS Snowball Edge
Small / Medium Scale Large Scale
VS
AWS Site-to-site VPN
• 인터넷 회선과 같이 상대적으로 적은 대역폭을 이용
• AWS와의 연결을 암호화
AWS Snowcone
• 지원 용량 - 최대 14 TB
• 서울 리전 미출시
AWS Direct Connect
• 고객의 데이터센터에서 AWS의 데이터센터로
전용선을 연결
• 포트당 최대 100GB 지원
AWS Snowball Edge
• 지원 용량 - 최대 80 TB
• 서울 리전 사용 가능

Virtual Machine Database File Storage
마이그레이션 대상 유형과 서비스
6
AWS DataSync AWS Transfer Family
AWS Database Migration
Service (AWS DMS)
AWS Application
Migration Service
• OS 자체를 마이그레이션
• Life and shift 방식
• 물리/가상 인프라의 소스 서버를
AWS에서 기본적으로 실행되도록
자동으로 변환
• CDC ( Changed Data Capture ) 방식의
실시간 데이터 베이스 마이그레이션
• 이기종 데이터 베이스 마이그레이션이
가능
• Export/import 방식 대비 훨씬 적은
Downtime 필요
• DataSync : NFS, SMB 와 같은
온프레미스의 공유 파일 시스템들을
AWS의 S3, EFS, FSx 같은 스토리지로
마이그레이션
• AWS Transfer Family : SFTP, FTPS 및
FTP 프로토콜을 사용하여 파일
전송을 하며 Amazon 스토리지로 마
이그레이션

최근에 고객 분들이 많이
요청하는 마이그레이션
업무는 어떤 것이 있을까요?
7

• NAS 공유 스토리지
• 상품 이미지, 상품 설명(jpg,
pdf 등)
• 작은 상품 이미지(<200k)
• 무수히 많은 파일들
대표적인 데이터 마이그레이션 사례
온라인 쇼핑몰 이전 사례 빅데이터 이전 사례
• Posix 방식이 아닌 HDFS 분산
저장
• 반정형 로그 데이터(csv,
parquet 등)
• 대용량의 작은 파일들
(<5MB, >10s TB)
제조 아카이빙 사례
• 제품 생산과정에서 발생하는
다양한 이미지 및 로그
• 수백TB에서 PB용량
• 이미지의 고화질 추세에 따른
생산 데이터 용량 증가
• 인터넷망 분리
8
How to
Snowball 또는 DataSync
How to
Snowball 또는 DataSync 사용
How to
Snowball

마이그레이션 방법 선택: Online or Offline
9
Time to transfer online
네트워크 대역폭이 적은 경우,
offline 마이그레이션을 지원하는
AWS Snow 서비스 사용
네트워크
대역폭이 2 Gbps
이상인경우, AWS
DataSync 온라인
마이그레이션
사용
1 Gbps 2 Gbps 5 Gbps 10 Gbps
500 TB 58 Days 29 Days 12 Days 6 Days
5 PB 2 Years 1 Year 116 Days 58 Days
10 PB 4 Years 2 Years 232 Days 116 Days

AWS Snow Service – Offline Migration
10
• 80 TB 용량
• S3 / NFS 호환 스토리지
• sbe1 인스턴스 (C5 스펙) 사용 가능
• 40 vCPUs, 80 GiB 메모리, 1 TB SATA SSD
• Compute Optimized 모델 (40TB)
• Snow Cone, Snow Mobile은 한국 미출시
Snowball Edge(Storage Opti.) Offline 마이그레이션이 필요한 이유
• AWS 네트워크 연결이 안될 때
• 네트워크 대역폭이 적을 때
• 네트워크 사용 비용이 너무 고가일 때
• Unix 에 연결된 데이터 이동할 때

Snowball Edge – 고객 사례
11
• 최종 저장소: S3 Glacier Deep Archive
▪ solution: Zero day Lifecycle
• 작은 파일로 인한 낮은 전송속도
▪ solution: S3booster 를 통한 배치 전송
• HDFS 파일시스템 마운트 필요
▪ solution:
– DistCP 불가
– HDFS-FUSE 사용
• S3 제약 상속
▪ 최대 경로 + 파일이름: 1024 bytes
▪ 오브젝트 최대 크기: 5TB
▪ UTF-8 인코딩
• 150TB HDFS 용량
• AWS EMR로의 전환
• 평균 파일 사이즈 약 5M
• AWS Storage: S3
고객 : 리테일업체
고객 : 제조업체
• 다수의 NAS 스토리지에 1.6PB 용량
• 스토리지용량 부족에 따른 아카이빙
• 평균 파일 사이즈 약 300KB
• AWS Storage: S3
Snowball 고려사항

DataSync – Online Migration
12
HDFS
FSx for Lustre
FSx for OpenZFS
• Source 프로토콜: NFS/SMB/HDFS 지원
• AWS 스토리지 서비스: S3, EFS, FSx for Windows File Server / Lustre/ OpenZFS
• 스케줄링 기능 제공
• Task별 대역폭 조절 가능

DataSync – 고객 사례
13
• 대용량 HDFS 데이터 전송 필요
▪ solution:
– Direct Connect로 대역폭 확보
– DataSync의 HDFS 기본 지원
• 증분 백업 시 put request 고비용
▪ solution:
– DataSync의 FSx for Windows, EFS 등 지원
– 백업 전문 솔루션 사용 권고
• Task당 파일 개수 limit: 50Million
▪ solution: 케이스 오픈하여 무제한 신청
• 2.2PB HDFS 용량
• AWS EMR로의 전환
• 10Gbps Direct Connect 연결
• AWS Storage: S3
고객: 네비게이션 정보 업체
고객: 온라인 쇼핑몰
• 총 35TB로 수억 개의 상품 이미지 파일
• 개별 파일은 대부분 200KB 이하
• 클라우드로 데이터 백업 요망
• AWS Storage: S3
DataSync 고려사항

FSx for NetApp ONTAP 소개
14
• 멀티 프로토콜 접근 지원 (SMB + NFS + iSCSI)
• 온프레미스와 FSx 또는 FSx 간의 복제 가능
• 스냅샷, 클로닝, 씬 프로비저닝, 데이터 압축, 중복제거
• 티어링 정책을 통한 비용 절감

FSx for NetApp ONTAP – Migration 방법
15
AWS Cloud On-Premises
NetApp storage
non-NetApp storage
SnapMirror
AWS Site-to-Site VPN
AWS Direct Connect
Amazon FSx for
NetApp ONTAP
Rsync
robocopy
NetApp XCP
Cloud Sync
네트워크로 전송 시:
• SnapMirror: 버전 호환 주의
• rsync, robocopy, NetApp XCP 등
오프라인 전송 시:
• Snowball + DataSync
(On-prem Storage -> S3 -> FSxN)

FSx for NetApp ONTAP – 고객 사례
16
• NetApp 스토리지에서 데이터 이전
▪ solution: snapmirror (호환 버전)
• 스토리지 전용 네트워크 설정
▪ solution: AZ간 이중화를 위해 Floating IP
대역 필요
– 기본 설정 사용 권고(198.19.0.0/16)
• Managed AD사용시, admin 유저 사용 주의
▪ solution: admin 유저의 패스워드가 90일이
후 강제 reset
– 별도 스토리지 전용 AD 유저 생성 권고
• 1.6PB 데이터 보유
o 800TB NetApp(ontap ver.: 9.6)
o 800TB EMC isillon
• 펌웨어 파일로 파일 평균 약 1GB
• 저장 비용 최소화 방안 모색
• 운영 호환성과 데이터 이전 편리
• AWS Storage: FSx for NetApp ONTAP
고객: 제조사 FSx for NetApp ONTAP 고려사항
참고1: Snapmirror 버전 호환성

마이그레이션 진행 시
발생하는 문제를 어떻게
빠르게 해결할 수 있나요?
17

• Network Bandwidth :
Intranet, Direct Connect, NIC,
VPN, Internet
• CPU/Memory/Disk 성능 :
Source/Destination/Agent
마이그레이션 진행 시 자주 발생하는 문제
성능/속도 권한
• IAM
• S3 Bucket Policy
• Organization SCP
• Directory Services
• Lake Formation
To-be 아키텍처에 대한 이해
• Storage : S3, EFS, EBS, FSx
for NetApp ONTAP
• Capacity, Lifecycle
• Throughput, Availability
• Quota
18

최신의 user guides,
developer guides 로,
Tutorials, quota,
troubleshooting
가이드를 확인합니다
빠르게 해결하는 방법
Guide document Knowledge Center
고객분들께서 자주
겪는 문제 사례를
검색합니다
Monitoring
CloudWatch metric을
확인하고 활성화된
Log 파일에서 작업
실패 원인을 찾습니다
AWS에 문의
Support Center에
티켓을 오픈합니다
19

Guide document
https://docs.aws.amazon.com
20

Knowledge Center
https://aws.amazon.com/premiumsupport/knowledge-center/
21

Knowledge Center
22
https://aws.amazon.com/premiumsupport/knowledge-center/

Monitoring
CloudWatch metric을 포함한 Tip 소개
23
DataSync S3 EBS EFS
FSx for NetApp
ONTAP
• BytesTransferred
• FilesTransferred
• CloudWatch log에서
Task fail debugging
• BucketSizeBytes
• PutRequest *
• GetRequest *
• Storage Lens
Dashboard
• S3 Server Access
Logging 활성화
* 유료지표
• BurstBalance
• VolumeReadOps
• VolumeWriteOps
• VolumeQueueLength
• 커맨드 “df –ih /”
실행하여 볼륨당 가용
용량 확인
• PermittedThroughput
• BurstCreditBalance
• MeteredIOBytes
• StorageCapacity
• StorageUsed
• FilesCapacity
• FilesUsed

AWS에 문의
24

AWS에 문의
25

AWS에 문의 시 빠른 해결을 위한 Tip
26
• 마이그레이션 단계와 구성을 설명으로 추가합니다.
• Chat 을 실행하면 엔지니어와 즉각적인 채팅지원으로 빠르게 해결 가능합니다.(*)
• 시도한 모든 방법들과 결과들을 공유해 주시면 더욱 빠르게 진행됩니다.
• 여러 AWS 계정에서 진행 시에는 계정마다 티켓을 오픈합니다.
• DataSync 의 경우 CloudWatch Log 를 첨부하고, Agent가 EC2라면 Instance ID를 명시합니다.
(*) Business/Enterprise Support Plan Only

기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결 방안 모음-김용기, AWS Storage Specialist SA / 한소영, AWS Cloud Support Engineer / 박양수, AWS Technical Account Manager::AWS 마이그레이션 A to Z 웨비나

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결 방안 모음-김용기, AWS Storage Specialist SA / 한소영, AWS Cloud Support Engineer / 박양수, AWS Technical Account Manager::AWS 마이그레이션 A to Z 웨비나

Similaire à 기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결 방안 모음-김용기, AWS Storage Specialist SA / 한소영, AWS Cloud Support Engineer / 박양수, AWS Technical Account Manager::AWS 마이그레이션 A to Z 웨비나 (20)

Plus de Amazon Web Services Korea

Plus de Amazon Web Services Korea (20)

기술 지원 사례로 알아보는 마이그레이션 이슈 및 해결 방안 모음-김용기, AWS Storage Specialist SA / 한소영, AWS Cloud Support Engineer / 박양수, AWS Technical Account Manager::AWS 마이그레이션 A to Z 웨비나