[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Dokeun Oh.pdf

보험사를 위한 AWS DATA ANALYTICS DAY
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
신한금융그룹의 데이터 댐
Shinhan One Data Platform
오도근
Solutions Architect

Agenda
• 신한금융그룹 현황
• 신한 One Data 개요
• 신한 One Data 아키텍처
• 데이터 수집
• 데이터 분석 환경
• 유용한 신규 기능 소개
2

신한금융그룹 현황
3

4
신한금융그룹 현황
신한은행
100%
국내 최우량
상업은행
총자산
532.2 조원
총자본
28.1 조원
제주은행
75.31%
제주 지역 점유율
1위 향토은행
총자산
6.7 조원
총자본
5,149 억원
신한카드
100%
국내 1위
신용카드회사
총자산
36.7 조원
총자본
6.4 조원
신한저축은행
100%
국내 주요
서민금융회사
총자산
2.3 조원
총자본
2,155 억원
신한생명2)
100%
DB마케팅 강점
생명보험사
총자산
36.7 조원
총자본
2.4 조원
오렌지라이프2)
100%
FC기반 고수익성
생명보험사
총자산
33.7 조원
총자본
2.8 조원
신한금융투자
100%
국내
주요 증권사
총자산
70.2 조원
총자본
5.0 조원
신한캐피탈
100%
시설리스/할부금융
특화 여신전문금융회사
총자산
10.2 조원
총자본
1.4 조원
신한자산운용3)
100%
자산운용 산업의
선두주자
총자산
61.5 조원
총자본
1,889 억원
신한대체투자운용
100%
대체투자 특화
전문운용사
총자산
6.5 조원
총자본
380 억원
신한리츠운용
100%
부동산 전문
REITs 운용사
총자산
2.1 조원
총자본
486 억원
신한아이타스
99.8%
국내 1위
펀드서비스전문회사
총자산
832 억원
총자본
752 억원
아시아신탁4)
60%
선도적 지위의
부동산신탁회사
총자산
54.1 조원
총자본
2,096 억원
신한AI
100%
인공지능 기반의
투자자문 회사
총자산
429 억원
총자본
413 억원
신한벤처투자5)
100%
전업
벤처투자사
총자산
6,314 악원
총자본
660 억원
신한DS
100%
금융 IT
전문회사
총자산
1,193 억원
총자본
38.6 억원
(2021년 6월말 기준)
신한신용정보
100%
신용관리
전문회사
총자산
292 억원
총자본
181 억원
Banking Consumer Finance Insurance Capital Markets
Capital Markets Others

5
카드 업계 1위 고객 기반, Data Driven Company
270만 5개 금융기관 데이터 0.92
2,200만 3억건

신한 One Data 개요
6

7
분야별 데이터

8
고객의 라이프 스토리를 다차원에서 이해

9
그룹사별 본원적 경쟁력 강화

10
왜 AWS인가?
01.
EXCELLENT
PLATFORM
03.
CLOUD ECHO
SYSTEM
신한금융그룹 내 다수의
레퍼런스
빅데이터 플랫폼 구축에
필요한 핵심 기술과
지원체계가 우수함
다양하고 뛰어난
AWS 제품 및 서비스,
AWS 파트너
02.
RICH
REFERENCES

신한 One Data 아키텍처
11

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 12
신한 One Data 아키텍처
12
데이터 레이크
투자증권
제휴 공공
외부 데이터
One Data
스트리밍 데이터
파일 데이터
분석결과
포털
저장
수집
실시간
처리
ETL 비식별화
데이터/분석환경
사용 요청
Raw Refined /
Integrated
Summary /
Insight
사용자
메타 검색
전자 결재
데이터/분석환경
관리
관리
메타 관리
사용자/데이터
통계 및 감사
리소스
모니터링
분석
고급 분석
공통 시스템
스케줄러 통합 메타 리니지
데이터
수명주기
L0 L1 L2
보안
플랫폼 및 시스템 보안 정보보안 체계
신한금융그룹
전산센터
카드
은행
라이프
파일
DB
파일
ML
R
CI/CD
학습데이터
관리
SQL
시각화

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 13
신한 One Data 아키텍처 on AWS
13
정보계
On-Premises One Data
Network/Security
분석가
사용자
수집, 변환, 저장 분석
Notebook/R
Train
AI/ML 분석 on EKS
Validate
Native
Framework
ECR
Native
Algorithms
Custom
Framework
Custom
Algorithms
SQL 분석 시각화
사용자/관리 포털
메타
데이터
NAT Gateway
TGW
Direct Connect
채널계
마케터
UTM
WAF
수집
파일 수집 MSK
DAG
변환
저장 (비정형)
저장 (정형)
모델개발
/학습

14
주요 서비스들
Amazon Managed
Streaming
for Apache Kafka
Amazon Elastic
Kubernetes Service
Amazon Managed
Workflows
for Apache Airflow
Amazon Simple
Storage Service
Amazon Redshift

15
데이터 센터와 VPC 연결
One Data VPC
UTM WAF
Route Table
그룹사 A 데이터 센터
VPN over AWS Direct Connect
One Data Workload
그룹사 A
VPN over
AWS Direct Connect
One Data Network
One Data
AWS Transit Gateway
UTM WAF
그룹사 A Workload
그룹사 A Proxy
F/W
TGW
TGW

16
그룹사들과 One Data 연결
그룹사 A
그룹사 B
그룹사 C
그룹사 D
그룹사 C VPC
그룹사 D VPC
One Data Network
VPC
Dev VPC
Stage VPC
Prod VPC
Common VPC
Security VPC
VPN over
AWS Direct Connect
VPN over
AWS Direct Connect
VPN over
AWS Direct Connect
VPN over
AWS Direct Connect
AWS
Transit Gateway
AWS
Transit Gateway
UTM WAF
Route Table

17
AWS 연결시 참고해야 할 부분들
• 모든 네트워크 트래픽은 보안 레이어 통과
• VPN, UTM, WAF 등 보안서비스를 적용하여 플랫폼 보호
• 망분리 규정 및 신한금융그룹 클라우드 표준 준수
• 전용회선 연결
• One Data 연결을 위한 Transit Gateway 구성
• 모든 사용자 접속은 보안 프로토콜(TLS) 적용

데이터 수집
18

19
AWS의 현대적 데이터 아키텍처
Amazon
EMR
Amazon
DynamoDB
Amazon
Aurora
Amazon
Redshift
Amazon
OpenSearch
Service
(successor to
Amazon
Elasticsearch
Service)
Amazon
SageMaker
확장 가능한 데이터 레이크
저렴한 비용과 최고의 가치
데이터 접근, 보안, 거버넌스 통합
목적에 맞는 데이터와 분석 서비스
빌트인 AI/ML

20
수집 데이터 종류와 방식
정형 데이터
(배치작업)
비정형 데이터
파일 송수신 솔루션,
Amazon Managed Workflows
for Apache Airflow,
Amazon EMR
실시간 데이터
Amazon Managed Streaming
for Apache Kafka,
Amazon Kinesis Data Firehose
파일 송수신 솔루션

21
데이터 수집 방안 (AWS Managed)
Agent
그룹사 데이터 센터 그룹사 클라우드
Agent
그룹사 데이터 센터 그룹사 클라우드
Source
One Data 클라우드
DMZ 구간
탐지솔루션
수집
S3 복제
S3 복제
S3 복제
공유용
공유용
Agent VPN over
AWS Direct Connect
VPN over
AWS Direct Connect
Security
DMZ S3
수집 S3

22
수집된 데이터의 가공 및 소비
파일, 데이터베이스
온프레미스, 클라우드에 있는 각종
데이터 소스들을 연결
수집
각 그룹사로부터 전송받은
데이터들을 취합하여 별도의 S3
버킷에 저장
전처리/통합
수집된 데이터에서 비정상 데이터를
처리하고, 가명화 및 비식별화
동류의 데이터 및 연결 데이터 통합
집계/분석
마케터, 분석가 등 데이터
소비자들이 비즈니스 분석,BI,
리포트 등에 사용
L0 L1 L2

23
데이터 생명 주기
• 10년 전부터 데이터 결합을 위한 자체 식별 체계 운영
• 식별자 값에 대한 보호 : 단방향 암호화 처리
• 성명, 상세 주소 등 분석에 불필요한 개인 정보 삭제
• 데이터 적재 시점부터 관리 단위별로 수명 주기 부여
• 적재 가능 기간 종료 시 파기 처리
• 거래 종료 등 파기 사유 발생시 즉시 파기 처리

데이터 분석환경
24

25
신한 One Data 분석환경
(BigData and AI Analytics Platform)
실시간 Provisioning 관리
모니터링 제어
Dataset
분석 프레임워크
분석가 인프라
Dataset
분석가 인프라
Dataset
분석가 인프라

26
분석 프로세스
분석과제
등록신청
검토
분석과제
생성
과제관리 멤버 분석 인프라 분석/학습 도구 분석 모델 분석 프로세스 관리
• 분석과제 등록
• 분석과제 기간
• 과제 Owner
• 멤버 추가/삭제
• 멤버 역할 지정
• 멤버 이력 관리
• 분석 인프라 Quota
• GPU/CPU/MEM
• 과제 공유 Disk 할당
• 과제 개별 저장소 할당
• Jupyter Notebook
• DAP Workflow
• R Studio
• Job 파이프라인
• 병렬 Job
• Job 스케쥴링
• 모델 Description 정의
• 학습 Script, 학습
Parameter, 성능 KPI,
학습결과모델 관리
• 버전관리
• 학습 이력 및 결과 관리
• Task 정의/할당
• 진척관리
• 대시보드
• 과제별 공유게시판
과제 기준으로 추적 관리

27
분석 프로세스
CPU GPU Mem. CPU GPU Mem.
CPU GPU Mem.
A 분석과제 B 분석과제 C 분석과제
관리자
분석과제 생성/종료, Ownership
분석과제 멤버 추가 삭제 및 Role 관리
분석과제 자원 할당 및 개별 사용 자원
모니터링/통제
분석가
개발용 분석환경 생성 및 분석모델 개발
분석용 데이터셋의 등록 및 공유 여부 결정
학습 및 Job 스케쥴링 관리 및 모델 등록
리뷰어
분석과제 진행 현황 조회
분석 working 산출물의 단순 조회
분석모델 성능 평가 검토 등

28
Amazon Redshift
Amazon Redshift
데이터 레이크
BI, 분석 어플리케이션
Federated Query
Materialized views
Data sharing
Amazon Redshift ML
운영 데이터베이스
3rd 파티 데이터
마켓 플레이스
머신러닝, 분석 서비스
SQL
Amazon Redshift Spectrum
query Amazon S3
Data lake export

유용한 신규 기능
29

30
[Preview] Support for auto-copy from Amazon S3
• 단순하고 적은 코드로 데이터 적재
• 로드 된 파일의 반복적재 및 수동 추적 방지
• 기존 COPY 구문을 자동 적재 작업으로 쉽게 변환
• 사용자 정의에 따라 Amazon S3에서 새 데이터 자동 적재
Amazon S3
Redshift
Copy Job
Redshift
Table
지속적으로 S3
폴더 모니터링
새로운 파일
감지 자동 적재 시작

31
[Preview] Zero-ETL Integration
페타바이트 규모의 트랜잭션 데이터에 대한 준실시간 분석을
가능하게 하는 쉽고 안전한 방법
Amazon Aurora Amazon Redshift
Transactional
Applications
Analytics
Applications
Analytics
Analyst
Analyst
Data engineer
Zero-ETL
integration

32
Amazon Redshift streaming ingestion support
Amazon Kinesis
Data Streams
Amazon Managed
Streaming for Apache
Kafka
Redshift
Kinesis or Kafka
producer
KDS Stream
MSK Topic
• Kinesis Data Streams(KDS)와 Managed Streaming for Apache Kafka(MSK)의 데이터를 S3에
임시 저장하지 않고 바로 적재
• 친숙한 SQL 기반 분석 수행 및 간편한 ELT 파이프라인 생성 및 관리
• 여러 소스의 대량 스트리밍 데이터에서 수 초 만에 인사이트 도출

Thank you!

[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Dokeun Oh.pdf

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à [보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Dokeun Oh.pdf

Similaire à [보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Dokeun Oh.pdf (20)

Plus de AWS Korea 금융산업팀

Plus de AWS Korea 금융산업팀 (14)

Dernier

Dernier (6)

[보험사를 위한 AWS Data Analytics Day] 4_신한금융그룹의 데이터 댐_Dokeun Oh.pdf