AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

GAMES ON AWS 2022
© 2022, Amazon Web Services, Inc. or its affiliates.
이창명 CTO
위메이드 플레이
AWS 머신러닝 솔루션을 활용한
고객 응대 자동화 구축 사례 공유
G A M E S O N A W S 2 0 2 2 - T R A C K 0 4

GAMES ON AWS 2022
회사 소개
위메이드플레이 (Wemade Play)
2

GAMES ON AWS 2022
Wemade Play 회사 소개
3
「WE! MADE! PLAY!」
누구나 쉽게 ”플레이” 할 수 있는 게임으로
사람들에게 즐거움 그 이상의 가치를 제공합니다!
IP콜라보
퍼즐명가 블록체인
글로벌 최고의 캐쥬얼 게임 개발사

GAMES ON AWS 2022
AWS 머신러닝 솔루션을 활용한
고객 응대 자동화 구축 사례
4

GAMES ON AWS 2022
고객 응대 자동화에 대한 고민
5
12명의 CS 담당자들이 처리해야 하는 업무
✓ 하루 평균 1,300 건의 고객 문의 접수
✓ 20개 이상의 다양한 게임 지원
✓ 한국, 미국, 일본, 유럽, 대만 등 다양한 언어로 지원 필요
✓ 20여개의 3rd party 모듈 지원
– 이 중 카XX, 페이XX, 라X, 애플, 구글 등 플랫폼 외에
광고, 네트워크 모듈 등
이 중 한 가지만 문제가 생겨도 게임 서비스에 영향을 줌

GAMES ON AWS 2022
실제 고객 문의 내용
6

GAMES ON AWS 2022
7

GAMES ON AWS 2022
8

GAMES ON AWS 2022
9

GAMES ON AWS 2022
고객 응대 자동화에 대한 고민
10
특정 장애로 인해 CS 문의가 급증할 경우
✓ 반복적인 문의 대응에 시간이 많이 할애되어 높은 중요도의 문의를 처리하는
시간도 같이 늘어나게 됨
✓ 터프한 게임 시장에서 User Experience를 지키키 어려운 상황이 발생
✓실제로 일본 유저들로부터 이런 부분에서 신뢰를 많이 잃게 되었다는 피드백
✓ 게임 업데이트 이후, 유저들의 반응을 모니터링 하고 폴리싱을 준비하는데, 이와
관련없는 CS 문의 증가로 인해 준비시간이 늦어지고 지체되는 상황이 발생

GAMES ON AWS 2022
고객 응대 자동화의 출발 (Pilot)
11
목표 : 유저 문의를 자동으로 분류하고 답변 제공
기대 효과 :
✓ CS 팀 업무 부담 감소
✓ 업무 외 시간 문의에도 빠른 답변 제공

GAMES ON AWS 2022
고객 응대 자동화의 출발
12
• 급증하는 CS 문의를 실시간으로 분석하여 이미 답변을 나간 이슈들에 대해
미리 유저들에게 빠르게 대응
• 이런 프로세스를 구축하기 위해서 머신러닝 솔루션을 활용하여 급증하는
이슈들을 판단하여 분류
• 머신러닝의 판단이 잘못 될 경우 고객에게 더 큰 불편을 줄 수도 있을 것
같다는 우려
• 최대 상위 3가지만 우선 검토 해보고 진행

GAMES ON AWS 2022
머신러닝 도입의 어려움
13
ML 전문 인력의 부족
No-code ML 도구
전문 인력 없이도 가능한 ML 기반 예측
ML 을 위한 대용량 데이터 처리
및 라벨링의 어려움
Purpose-built 데이터 준비 도구
ML 용 데이터에 대한 라벨링 및 처리
너무 다양한 도구들
단일 인터페이스로 통합된 ML 도구
IDE 를 사용한 모델의 빌드, 트레이닝, 배포
수동으로 수행해야 하는 ML
Operation 작업
Built-in MLOps 기능
ML 수명주기를 간소화하기 위한 MLOps 구현

GAMES ON AWS 2022
Amazon SageMaker 에서는 ML 을 위한 모든 기능을 제공
14
Amazon SageMaker Studio
IDE for ML
Amazon SageMaker Autopilot
Automatically build and train models
Amazon SageMaker Model Monitor
Automatically detect concept drift
Amazon SageMaker notebooks
One-click notebooks with elastic compute
Amazon SageMaker Experiments
Capture, organize, and compare every step
Amazon SageMaker Neo
Train once, deploy anywhere
AWS Marketplace
Pre-built algorithms, models, and data
Amazon SageMaker Debugger
Debug and profile training runs
Automatic model tuning
One-click hyperparameter optimization
Amazon Augmented AI
Add human review of model predictions
Amazon SageMaker GroundTruth
Build and manage training dataset
Processing job
Supports Python or Spark
One-click training
Supports supervised, unsupervised & RL
One-click deployment
Supports real-time, batch & multi-model
Amazon Elastic Inference
Auto scaling for 75% less
준비 빌드 학습 및 최적화 배포 및 관리

GAMES ON AWS 2022
왜 Amazon SageMaker 를 선택했을까?
최 대 1 0 배 더 높 은 생 산 성 을 가 져 올 수 있 는 P U R P O S E - B U I L T 도 구
15
Amazon SageMaker
Studio notebooks
ML 데이터에 접근
Amazon S3, Apache
Spark, Amazon
Redshift 등에 저장된
많은 데이터 소스에
쉽게 연결
데이터 준비
데이터를 변환하여
이를 검색하고,
메타데이터 및
스키마를 손쉽게 탐색
ML 모델 빌드
TensorFlow, PyTorch
와 같은 150개 이상의
인기 있는 오픈 소스
모델 및 프레임
워크를 통한 최적화
ML 모델 학습 및
최적화
실시간으로 성능 문제
수정
결과 배포 및
모니터링
모델 품질 향상을
위한 종단 간 ML
워크플로를 생성,
자동화 및 관리

GAMES ON AWS 2022
Amazon SageMaker 를 선택한 이유
16
Data 전송비용
서비스의 다양성
사용 편의성
기술지원역량
확장성

GAMES ON AWS 2022
고객 응대 자동화의 출발 (데이터분석)
17
- 2019 ~ 2021 년 문의 데이터
- 총 데이터 개수 : 112,695개
- 글을 통해 질문 내용을 파악하는 것이 생각보다 어려움
- 고객 질문이 한 개가 아닌 다수의 질문으로 구성된 경우가 많음
- 맞춤법, 오타, 신조어, 띄어쓰기 등 표준 문법 외의 글이 상당히 많음
- 분류 클래스 개수
- 최초 분류는 총 20개 클래스로 분류
- 테스트 및 데이터 확인 후 클래스 재조정 작업하여 15개 클래스로 진행
- 클래스별 자동 답변 가능 여부 및 답변 내용 CS 팀에서 제작 완료

GAMES ON AWS 2022
전체 아키텍처

GAMES ON AWS 2022
Part 1. Amazon SageMaker
Part 1-1 모델
- KoBERT Classifier
- Test Dataset Accuracy: 0.85 ~ 0.86
- 유저가 문의를 하는 경우 잘못 분류하여 답변
이 나간다면 유저 경험이 매우 나쁠 것이라 판
단
- Top 3 클래스 제공
- 모델의 Top 3 Accuracy : 0.97 ~ 0.98
19

GAMES ON AWS 2022
Part 1-2 모델학습
- PyTorch
- 학습 및 테스트 데이터 S3 에 업로드
- SageMaker Python SDK 사용하여 Training
job 실행
- ml.g4dn 인스턴스 사용하여 학습
20

GAMES ON AWS 2022
Part 1-3 SageMaker Interface를 통한 모델배포 - SageMaker Python SDK 의 PyTorchModel deploy 통
하여 Model, Endpoint configuration, Endpoint 생성
- Apache JMeter 로 부하 테스트 진행
- 부하 테스트 결과에 기반하여 분당 호출 수
(Invocations per minute), CPU Utilization 에 따른
Auto Scaling 설정
- AWS 피드백 :
- Auto Scaling Policy 가 적용된 Endpoint 업데이
트 시에는 에러 발생
- 따라서 모델 배포시에는 Auto Scaling Policy 제거
하고 배포해야해 부하가 적은 시간대에 진행해야함
21

GAMES ON AWS 2022
Part 2. 애플리케이션
22

GAMES ON AWS 2022
Part 2. 애플리케이션
- 현재 문의 페이지와 동일하게 제작
- 문의 제출시 자동 답변 가능한 경우에는 답변
제공
- 자동 답변 불가능한 경우 및 유저가 원하는 경
우 젠데스크 티켓 생성 할 수 있도록 함
23
Part 2-1 Application Spec

GAMES ON AWS 2022
Part 2. 애플리케이션 (Application)
24
Part 2-2 Application Demo

GAMES ON AWS 2022
Part 2. 애플리케이션 (Application)
- Python FastAPI 로 API 작업, Dockerize 하여 EKS 통하여 배포
- 프론트엔드는 S3 Static Web Hosting
- 유저 문의 접수 시 SageMaker 로 요청 및 Top 3 클래스 추출
- 1) 자동 응답이 불가한 경우
- Zendesk API 사용하여 티켓 생성
- 2) 자동 응답이 가능한 경우 응답 제공
- 문의가 해결된 경우 로깅하여 추후 학습 데이터로 사용할 수 있도록 함
- 문의가 해결되지 않은 경우 Zendesk 티켓 생성하고 로깅. 필요한 경우 라벨링하여 학습 데이터로 사용
- Auto Scaling, CloudWatch Container Insight 설정 완료
25
Part 2-3 Application Detail

GAMES ON AWS 2022
Lessons & Learned
26

GAMES ON AWS 2022
#1 G4dn vs Elastic Inference(EI)
27
✓ G4dn 인스턴스 수량 부족으로 Auto Scaling 및 모델 배포 시 문제가 발생 될 수 있는 문제
➢ AWS 와 협의하여 Elastic Inference 가 대안이 될 수 있음을 확인
➢ EI Pytorch 1.3.1 버전 컨테이너 사용
• EI 용으로 AWS 에서 빌드한 버전인데 해당 패키지에는 Protobuf 3.5.1 버전이 패키징되어 있으나 사용하는
패키지 중 sentencepiece 에는 protobuf 3.5.1 버전을 사용하는 버전이 존재
➢ EI Pytorch 1.5.1 버전 컨테이너 사용
• 1.5.1 버전을 사용하려면 학습된 모델을 torch.jit.script 로 변형해줘야 함
• transformers 패키지 모델을 사용하는데 해당 모델은 torch.jit.trace 만 지원
• torch.jit.script 도 지원하도록 패키지 코드를 수정했지만.. 더 아랫단에서 안 되는 문제 발생
➢ EI Pytorch 1.3.1, 1.5.1 버전 모두 사용하지 못 하여 G4DN 인스턴스 부족한 경우를 대비해 CPU
인스턴스도 부하 테스트 진행
➢ CPU 인스턴스도 성능이 괜찮아 필요하다면 해당 인스턴스 사용 예정

GAMES ON AWS 2022
#2 모델 배포 파이프라인
28
- 따로 툴은 추가하지 않고 스크립트 작업만 완료
- AWS SageMaker Model 생성 => Endpoint Config 생성 => Endpoint
업데이트 혹은 생성 순으로 되도록 작업
- SageMaker Python SDK 는 엔드포인트 deploy 시 업데이트 옵션이 없어서
Boto3 로 작업

GAMES ON AWS 2022
#3 관리 포인트
29
- 관리 포인트를 줄이기 위해 GitOps 적용
- 모델, 서버, 프론트엔드 등등 용 코드 베이스 리포와 Kubernetes 설정 파일용
리포 2개로 나누어서 관리
- Github Actions 사용. 코드 베이스 리포에서만 돌아감

GAMES ON AWS 2022
도입 효과
1. 고객 문의 처리 건수의 향상
I. 하루 평균 250건, 이슈 발생 시 400건 이상 AWS SageMaker 에서 처리
2. User Experience 향상
I. 고객 응대 처리 이후 고객 만족도 18% 향상
3. 고객 문의 처리 시간 단축
I. 고객 문의 해결에 걸리는 시간 29% 감소
4. 고객 응대 센터 직원들의 업무 난이도 향상
I. 단순 문의는 머신러닝으로 처리하면서 중요한 문의들을 해결하는데 역량을 집중할
수 있는 계기 마련

GAMES ON AWS 2022
Next Step
31
- 고객 응대 자동화 서비스의 업그레이드 진행중
- Lesson & Learned를 바탕으로 개선점을 보완하여 V2 서비스 준비
- 같은 캐주얼 장르의 게임이라도 유저 연령과 행동패턴에 따라 고객 문의 내용이 상이함
- 고객 응대 자동화 서비스의 확장
- 신작에는 바로 적용 원칙
- 기존 글로벌 타이틀과 국내 타이틀에도 2023년 1H 에 확장 도입 예정

GAMES ON AWS 2022
Thank you!
이창명
chang@wemadeplay.com
위메이드 플레이

AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022

Similaire à AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022 (20)

Plus de Amazon Web Services Korea

Plus de Amazon Web Services Korea (20)

Dernier

Dernier (6)

AWS 머신러닝 솔루션을 활용한 고객 응대 자동화 구축 사례 공유 - 이창명, CTO, 위메이드 플레이 ::: Games on AWS 2022