[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토스페이먼츠 사례 중심_Joonghoon Shin.pdf

보험사를 위한 AWS DATA ANALYTICS DAY
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
Data Analytics의 현재와 미래
- 토스페이먼츠 사례 중심
Joonghoon Shin(신중훈)
Solutions Architect
AWS

목차
데이터 분석 인프라 구축 개요
데이터 흐름별 데이터 분석 인프라 개념도
클라우드에서 진화하는 분석 인프라
토스페이먼츠가 평가하는 클라우드 분석 인프라
2

데이터 분석 인프라 구축 개요
3

토스페이먼츠 소개
We call it PAYTECH
온라인 결제 경험
가설과 실험
데이터 기반의 의사결정
기반부터 시작하는 분석 인프라
2020년 8월 LG U+ 결제사업부 인수
Ground zero
4

토스페이먼츠 클라우드 사용 주요 현황
5
AWS Cloud Corporate
data center
EMR
Athena
SNS SQS
EC2
ECR CloudFront
WAF
RDS
S3 Glue
S3
Elasticsearch Kafka
Redis
Elasticsearch
presto
EKS-1 EKS-2 GA
Kafka
데이터 플랫폼
PG 서비스
PrivateLink
Transit
Gateway
Direct
Connect
Site-to-Site
VPN

토스페이먼츠 클라우드 여정
데 이 터 분 석 인 프 라
6
‘20.6 ‘20.8 ‘20.10 ‘21
라운드테이블 EA
CSP 안전성 평가
Enterprise
Support 계약
Enablement
교육
LG U+ 결제사업부
인수
배치 Flow
구축 완료
실시간, CDC Flow
구축 완료
‘22
K8S 기반
데이터 분석

데이터 분석 인프라의 고객은 누구인가
분석가
데이터/제품 분석, 지표 정의, 모델링
BI 엔지니어
추출, 마트 설계, 대사, 시각화
그 외 모든 팀원
7

고객은 어떤 것을 원하는가
다양한 소스의 데이터가 필요함
DB, 로그 file, 문서, 외부 데이터, 실시간 스트리밍
대용량 데이터를 처리해야 함
원하는 방식으로 데이터를 직접 핸들링해야 함
SQL, python, spark, R
편해야 함
8

무엇을 구축할 것인가
분석 유형: 실시간과 배치
리소스 분배
Ad-hoc / 1,000 / SQL / 업무시간
배치 / 15,000 / Spark + MR + SQL / 새벽, 업무시간
리소스 조달: 확장성
실험적인 구조의 인프라
9

어떻게 구축할 것인가
인력과 시간: 한정된 자원
솔루션 도입: 데이터 저장과 처리를 위한 품질 속성
10
Cloud service
On-premise
인프라
기반 기술
AWS Redshift, BigQuery
Oracle Exadata, Teradata
DW solutions
AWS EMR, Cloud DataProc
Hadoop, Greenplum
오픈소스 기반

데이터 분석 인프라 설계 원칙
데이터 저장소에 대한 부담이 없어야 한다
데이터 사용량과 저장 방식
데이터는 SQL로 처리가 가능해야 한다
사용자의 기술 부담을 최소화, 높은 데이터 접근성 제공
언제든 변경이 가능해야 한다
더 나은 구조, 형태
출구 전략
11

데이터 흐름별 데이터 분석
인프라 개념도
12

여러분의 선택은?
Hadoop ecosystem Datawarehouse
13
Amazon Redshift
Amazon EMR

데이터 분석 인프라 아키텍처
14
Real-time
Batch
Ad-hoc/EDA
Presto
Jupyter Hue
Tableau
Grafana
kafka
Kibana
Logs 서비스 DB
OGG
문서
Interface Server
Scheduler
Monitor
S3
외부 데이터
ES
sqoop
Slack
S3
EMRFS
Glue
BI visualization
Corporate
data center
AWS Cloud
EMR cluster

배치 Flow
15
S3
EMRFS
sqoop overwrite
sqoop append
sqoop
sync
Database
문서
서비스 DB
S3
외부 데이터
external
table
sync
Database
sqoop
Database
input output
Tableau
Grafana
Slack
Apache Sqoop은 MySQL, Oracle과 같은 RDBMS와 Hadoop HDFS간 데이터 전송을 위한 도구이다.

실시간 Flow
16
S3
EMRFS
Oracle
S3
logstash + kafka
Server logs
Web logs
S3
ogg + kafka
S3
hudi
Aurora
MySQL
Presto
Grafana
ksql
external
table
Kafka 커넥터로 RDMBS와 연결하고 Spark EMR Cluster를 사용하여 스트리밍 데이터를 처리한다.

CDC Flow
17
OGG for Bigdata
Oracle
Presto
S3
EMRFS
hudi Glue
extract
pump
replicate
kafka
OGG instance
관리자
페이지
Elasticsearch
정산
S3
MySQL
실시간 정산
빠른 거래내역 조회 (최근)
실시간 분석
대량 거래내역 조회 (과거)

로그 Flow
18
S3
EMRFS
S3
Server logs
Web logs
Presto
Grafana
ksql
서비스 모니터링
실시간 지표
PG플랫폼 FDS
장애 모니터링
모니터링 알림
MySQL
kafka

클라우드에서 진화하는 분석
인프라
19

데이터 분석을 위한 K8S 도입
20
Amazon EKS는 K8S에서 Spark 애플리케이션을 스케줄링하기 위해 AWS 고객들 사이에서 인기
있는 선택이 되고 있습니다. K8S 를 설정하고 유지 관리하는 방법에 익숙할 경우 자체적으로 Spark
Job 실행 환경을 구축하지만 그렇지 않을 경우 EMR on EKS을 도입할 수 있습니다.

비용 최적화를 위한 Karpenter 도입
21
오픈 소스 Karpenter는 전체 Pods 리소스 요청을 관찰하고 노드 시작 및 종료를 결정하여 스케줄링
지연 시간과 인프라 비용을 최소화합니다. Native K8S 뿐만 아니라 AWS EKS와 호환되며 기존
Cluster Autoscaler의 한계를 극복, 자동화된 인스턴스 선택이 가능합니다.
Pending pods Existing capacity
Just-in-time capacity
Unschedulable pods
API call to EC2
Right-sized
instances. No ASGs
to manage
Optimized capacity

토스페이먼츠가 평가하는
클라우드 분석 인프라
22

토스페이먼츠가 평가하는
클라우드 분석 인프라
23
강한글/데이터 엔지니어 팀 리더/ 토스페이먼츠
출처: 토스페이먼츠가 AWS를 택한 이유, IT 조선
Cloud 인프라
• 높은 활용도와 확장성, 신규 아키텍처 도입,
효율적인 인력 배분
• 관련 지식이 필요, 비용 projection
Managed service의 편리함과 제약사항
• 다양한 서비스, 편리한 사용
• 설정, 튜닝, 소스로 접근이 제한
고객 경험에 비례한 엔지니어링 경험치
• 더 쉽고 편하게

Thank you!
신중훈
jhshin@amazon.com

[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토스페이먼츠 사례 중심_Joonghoon Shin.pdf

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à [보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토스페이먼츠 사례 중심_Joonghoon Shin.pdf

Similaire à [보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토스페이먼츠 사례 중심_Joonghoon Shin.pdf (20)

Plus de AWS Korea 금융산업팀

Plus de AWS Korea 금융산업팀 (17)

Dernier

Dernier (7)

[보험사를 위한 AWS Data Analytics Day] 6_Data Analytics의 현재와 미래-토스페이먼츠 사례 중심_Joonghoon Shin.pdf