[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기반 Analytics Journey_Byeong-eok Kang.pdf

보험사를 위한 AWS DATA ANALYTICS DAY
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
KB금융그룹과 계열사의
AWS 기반 Analytics Journey
Byeong-eok Kang
Solutions Architect
AWS

2
Agenda
• KB-AWS 협업 사례
• KB국민카드 마이데이터 사례
• KB국민카드 AIOps 사례
• KB금융지주 공동 Analytics 플랫폼
• What's Next

KB-AWS
협업 사례
3

4
KB-AWS 협업 사례
KB국민은행 KB국민카드 KB캐피탈 KB손해보험
Future Contact Center
AI Callbot/Chatbot
MLOps Analytics Platforms
(MyData/AIOp..)
Innovation
Sandbox
KB Wisenet
KB One Cloud “P Region” on AWS
KB
마이데이터
KB Pay를
통한 대고객
채널 일원화

KB국민카드
마이데이터 사례
5

6
Liiv Mate 3.0
6
Liiv Mate 2.0
- KB 금융그룹 통합 멤버십/포인트 서비스
(포인트리)
리브메이트 2.0
Liiv Mate 3.0
- 마이데이터 플랫폼으로 변화
리브메이트 3.0

7
Why Cloud ?
클라우드
도입 검토
배경
마이데이터 서비스 특성상 정확한 Capacity 를 미리 산정할 수 없음
(KB 뿐만 아니라, 모든 금융소비자 대상)
내부 네트워크 자원 이슈 – 프로젝트 일정과 비용상 어려움
(외부 기관으로 부터의 많은 스크래핑 및 API 통신을 통한 데이터 유입)
시장 선점을 위해 빠른 서비스 출시 목표 – 신속한 인프라 필요
(빠른 출시, 지속적이고 빠른 서비스 개선)
고객 니즈를 반영한 다양한 서비스 출시 필요 – 빅데이터 / AI 적극 수용
(활용 가능 데이터의 종류가 다양해지므로 분석 방법론도 다양)
1
2
3
4

8
다양한 AWS 서비스 적용을 통한 효율적 인프라 구현
App Front-end
On-premise 연계
데이터
분석계

9
다양한 AWS 서비스 적용을 통한 효율적 인프라 구현
App front-end
On-premise 연계
데이터
분석계
Elastic
Cache
.135, .142
Glue (ETL) Dynamo DB Kinesis
Data
Stream
Lambda
API Gateway
ElasticSearch
Kibana
Athena
Sagemaker
Route 53
Shiled
WAF
RDS
RDS
ElastiCache ElastiCache
ALB
Direct Connect
App Front-end
On-premise 연계
데이터
분석계

10
서비스 상세 구성 아키텍처
기존 On-Prem
과의 연계 필요
Direct Connect 및
VPC Peering 을
통한 하이브리드
아키텍처 구현

KB국민카드
AIOps 사례
11

12
왜 Cloud에 분석플랫폼을?
ü SQL 전문가를 위한 SQL 엔진
ü Python / R 분석가를 위한 Jupiter Notebook/Lab, R Studio
ü 분산 처리를 위한 Hadoop
ü 실시간 데이터 서빙을 위한 Elastic Search
ü 모니터링 대시보드

13
왜 Cloud에 분석플랫폼을?
§ 자원이 필요할 때 자원 경합의 문제를
고민하지 않고 사용할 수 있는 분석 플랫폼
§ 분석을 마친 프로젝트의 자원 반납을 통해
비용 절감
§ 분석 성격에 맞는 컴퓨팅 리소스 선택 가능
On-demand
분석 플랫폼 구성 가능
물리적인 서버에 대한
유지보수 필요 없음
Managed Service 활용
§ Robust Service 운영 가능
§ 신규 서비스 도입 lead time
감소
§ 하드웨어 돌발 상황 대처 용이
§ 소프트웨어 버전 관리 용이
§ 하드웨어 점검 및 유지보수 비용
감소

14
Cloud 기반 분석 플랫폼
On-Premise AWS Cloud (Seoul Region)
MWAA(Managed Workflows for Apache Airflow)
포털 (WEB/WAS)
RDS
AZ1 AZ2
#2
VPC (Subnet)
Notebook
(Code)
SageMaker
Wrangler
(UI)
Sandbox #1
#3
Athena
(SQL)
IAM
ECS ECR
고급분석 & ML
AWS API
OnPrem.(Oracle)
OnPrem.(HDFS)
분석가
그룹
데이터레이크 (S3)
Raw Mart
ML 관리
ML 결과 전처리
Athena
SQL 기반 분석
Management (EC2)
EC2
1) PyPI 서버
2) Docker 관리 서버
Lambda:
Sandbox 생성/변경/폐기
Pipeline 배포
ETL Job
Workflow 생성, 관리 및 모니터링
ML Pipeline Job
Workflow
1) ML 훈련 Job (+재학습)
2) ML 예측 결과 생성 Job
3) ML 모델 성능 모니터링 Job
※ Versioning
- Model
- Code
- DataSet
SageMaker AutoPilot
AutoML (자동) 분석
Python
Package
Repository
S3
Glue
Catalog
WAS
Workflow 모니터링
다양한
실험/시도

15
Cloud 기반 분석 플랫폼
§ 데이터 분석을 진행하기 위해서 프로젝트 신청을 통해 AWS Resource 할당
S3 에 존재하는 DataSet 을 AWS SageMaker Studio 을 기반으로 AWS 의 다양한 기능들을 이용하여 분석을 진행
AWS Cloud
VPC (Subnet)
Portal EC2
SageMaker
AWS Lambda
IAM S3
AWS
Boto3 API
AWS
Java API Parameter
Response
(JSON)
LB
AZ2
[데이터 분석 Project 생성]
RDS
MWAA Watch Alarm
On-Premise
분석가
그룹
VPC (Subnet)
Portal
AWS Cloud
EC2
Edge Browser
SageMaker
Studio
Open
Sandbox
URL
(New
Browser)
[접속 URL]
- Studio ID : 고정 ID
- Studio User Profile Name : 사용자 고유 ID
[데이터 분석 Project 접속]

16
Cloud 기반 분석 플랫폼 – Data pipeline
On-prem (Oracle) Glue
S3
Glue
Catalog
Athena
SageMaker
WEB/WAS
RDS
On-prem
AWS Cloud
AWS
Direct
Connect

17
Cloud 기반 분석 플랫폼 – Analytics components
SageMaker
Studio
Notebook
Model
Train
Pipeline
Wrangler
Athena
Deploy
AutoPilot

18
Cloud 기반 분석 플랫폼 – Analytics components
ML
Problem
Raw Data
EDA (Exploratory Data Analysis)
Cleaning
Integration
Reduction
Sampling
Transformation
Feature Engineering
Data Splitting
Train Data Test Data
Model Training
Optimize model Prediction
Trained
Model
Model
Evaluation
New Data Data Preparation
Data
Preparation
Model Training
& Evaluation
Production
Machine Learning
Algorithms
Model Performance Monitoring
Training
Performance
Monitoring
Inference

19
Cloud 기반 분석 플랫폼 – Model pipeline
Train Pipeline Inference Pipeline Monitoring Pipeline

20
MLOps는 어떻게? - MWAA
Customer VPC Service VPC
Airflow Scheduler
Airflow Worker(s)
Airflow Web Server
Meta Database
Private
Network
Public
Network
Web Server
VPCE
Database
VPCE
DB Proxy
Amazon CloudWatch Amazon Simple
Storage Service (S3)
Amazon Simple
Queue Service
Amazon Elastic
Container Registry
AWS Key Management
Service
/ / / /
/
Amazon MWAA Architecture

21
MLOps는 어떻게? – MWAA
MWAA
Web Dashboard
Train DAG
Inference DAG
Monitoring DAG
ü 선행 작업 확인
ü SageMaker Pipeline 호출
ü 결과 확인
ü 모델 저장
ü Train DAG check
ü 추론
ü 결과 저장
Model
artifact
Inference result
ü Inference DAG check
ü Metric 저장
Model metric
Re-train

22
MLOps는 어떻게? – MWAA
On-Premise AWS
데이터 레이크 (S3)
ODS MART
변경 데이터
ML 추론 결과
Project 공간
VPC (Subnet)
SageMaker
Sandbox #N
모델, 소스코드
EDA/전처리/훈련
데이터 (Read/Write)
승인 받은 데이터
(Read only)
분석가 그룹
배포
Data Catalog
Glue (ETL)
Job ETL Workflow
Managed Workflows for Apache Airflow (MWAA)
Glue
(ETL Job)
Airflow DAG
(PythonOperator)
1) ML Training Pipeline
2) ML Inference Pipeline
3) ML Monitoring Pipeline
전처리
Monitoring
Pipeline
Training
Pipeline
※ 배포
- Project ID
- Version
- …
Portal
1) PRD-PL-TRAIN-#PRJ
2) PRD-PL-INFERENCE-#PRJ
3) PRD-PL-MNTR-#PRJ
Inference
Pipeline
On-prem. (Oracle)
On-prem. (HDFS)
DAGs
[SageMaker Pipeline]
1) PL-TRAIN-#PRJ
2) PL-INFERENCE-#PRJ
3) PL-MNTR-#PRJ

KB금융지주
공동 Analytics 플랫폼
23

What's Next
24

25
What’s next for KB ?
AI & Machine Learning 기반의
초개인화 역량 강화
Open Platform AI/ML Innovation
종합금융플랫폼을 위한
오픈 기반 서비스

26
금융앱(KB스타뱅킹)에서 슈퍼앱으로
금융 비금융
이체·조회 상품가입 자산관리
자동차
인증
모
바
일
쿠
폰
샵
C
주식 매일걷기
Pay 캠핑
KB Wallet 국민비서

27
The Future of AI Finance
학습
인프라
추론 인프라
클라우드 서비스
AI Finance
Multi-modal
Foundation Model
KB 계열사
고객 / 직원
Legacy system
API
금융 업무
고객 상담
상품 판매

Thank you!

[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기반 Analytics Journey_Byeong-eok Kang.pdf

[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기반 Analytics Journey_Byeong-eok Kang.pdf

Recommandé

Contenu connexe

Similaire à [보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기반 Analytics Journey_Byeong-eok Kang.pdf

Similaire à [보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기반 Analytics Journey_Byeong-eok Kang.pdf(20)

Plus de AWS Korea 금융산업팀

Plus de AWS Korea 금융산업팀(13)

[보험사를 위한 AWS Data Analytics Day] 5_KB금융그룹과 계열사의 AWS 기반 Analytics Journey_Byeong-eok Kang.pdf