AWS의 비용 효율적 고성능기계학습(ML) 플랫폼 뛰어들기 - 윤석찬 수석 테크 에반젤리스트, AWS :: AWS Innovate 2019
기계 학습(ML) 및 인공 지능 기술이 발전함에 따라 더 많은 데이터 훈련과 학습 및 ML 서비스를 위한 고성능 컴퓨팅 플랫폼 확보가 중요해 지고 있습니다. 어떻게 비용 효율적인 ML 서비스를 제공할 수 있는지 신규 GPU 인스턴스 타입, Deep Learning AMI 성능 개선, 추론용 GPU 카드 등 AWS 클라우드가 선 보이고 있는 새로운 ML 플랫폼에 대해 소개합니다. 또한, AWS의 완전 관리 ML 서비스인 Amazon SageMaker를 통해 어떻게 더 빠르게 다양한 ML 모델 학습이 가능한지를 Tensorflow 및 Keras 예제와 함께 알아봅니다.
23. 사례. SageMaker 기반 기계 학습 구현 사례
“광고 기술 서비스 스타트업인 IGAWorks는 AWS 기반으로
일 50억 건의 디스플레이 광고 요청를 처리하는
트레이딩웍스와 22,000여개 모바일 앱이 탑재된
애드브릭스 등을 운영하고 있습니다. 광고 효율 개선 및
지속적인 최적화를 위한 기계 학습 모델 관리의 편의성과
프로덕션 적용 시간을 단축하는 Amazon SageMaker를
도입해 A.I Lab의 업무 효율성이 높아졌습니다.
기업 규모와 상관 없이
다양한 고객 활용 중!
27. N E W !
EC2
Instance
EC2
Instance
EC2
Instance
GPU
훨씬 저렴한 비용으로 신속한 추론을 위해 Amazon EC2 인스턴스에 GPU 가속 기능 추가 (최대 75 % 절감)
Amazon
Elastic Inference
P 3 . 8 X L
P 3 P 3
P 3 P 3
Amazon
Elastic Inference
36 TOPS GPU
M5.large
Amazon
Elastic Inference
Before After
28. N E W !
고성능 처리량
낮은 대기시간
수백 TOPS 지원
다양한
데이터 타입
다양한
ML 프레임워크
INT8, FP16,
mixed precision
TensorFlow, MXNet,
PyTorch, Caffe2, ONNX
EC2 인스턴스 지원
Amazon SageMaker 지원
Amazon Elastic Inference 지원
고성능 기계 학습 추론을 위한 AWS에서 설계 한 맞춤형 칩셋
AWS Inferentia