LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Amazon Web Services Korea
Amazon Web Services KoreaAmazon Web Services Korea
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
LG 이노텍 - Amazon Redshift Serverless를
활용한 데이터 분석 플랫폼 혁신 과정
LG 이노텍 : 유재상 선임
LG CNS : 김태규 선임
AWS : 김도균 Specialist
“LG 이노텍은 세계 시장을 선도하는 글로벌
소재·부품기업으로, Amazon Redshift 을 데이터 분석
플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인
데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의
필요성에 대처하기 위해, 2022년에 AWS 에서 발표된
Redshift Serverless 를 활용한, 비용 최적화된 아키텍처
개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.”
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Agenda
1. AWS REDSHIFT 혁신 과정 소개.
2. LG 이노텍의 데이터 분석 플랫폼 소개 및 변화과정.
3. 통합 데이터 플랫폼 향상을 위한 기술적 접근 방법.
4. Q/A
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
1. AWS Redshift 혁신 과정 소개.
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4
포괄적이면서 개방적인 AWS 서비스
데이터 이동
분석
데이터 레이크 인프라 & 관리
데이터, 시각화, 참여 & 기계 학습
+ 그 외 다양한
Redshift
EMR
(Spark & Hadoop)
Athena
OpenSearch
Service
Kinesis Data
Analytics
AWS Glue
(Spark & Python)
S3/Glacier AWS Glue
Lake
Formation
QuickSight SageMaker Comprehend Lex Polly Rekognition Translate
Database Migration Service | Snowball | Snowmobile | Kinesis Data Streams | Kinesis Data Firehose | Managed Streaming for Apache Kafka
Pinpoint
Data
Exchange
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Redshift - Happy 10th Year Anniversary!
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Data 의 증가됨에 따른 도전 과제
AWS Redshift
6
고객의 다음과 같이 말하고 있습니다
“데이터 사용자 가 증가되고, 분석할
데이터는 어디에나 있습니다."
“분석 워크로드는 Mission Critical
하며 24/7 실행됩니다”
“통제가 가능하면서도, 모든 양의 데이터
또는 사용량에 대해 일관된 고성능을
원합니다”
“안전하고 잘 관리되고 확장 가능한
아키텍처를 찾고 있습니다”
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Listening to our customers
2013 2023
Amazon Redshift launched as
the first MPP cloud data
warehouse at a price
performance unattainable in
on-premises MPP DWs
Amazon Redshift Spectrum
Amazon Redshift RA3 nodes
Concurrency scaling
Federated query
Data sharing
Amazon Redshift ML
Amazon Redshift Query Editor V2
Amazon
Redshift
Terabytes to petabytes to exabytes
Data sharing with
AWS Data Exchange
Amazon Redshift Serverless
Amazon Kinesis streaming
ingestion
Concurrency writes
Role-based access control,
identity management updates
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Listening to our customers
2013 2023
Amazon Redshift launched as
the first MPP cloud data
warehouse at a price
performance unattainable in
on-premises MPP DWs
Amazon Redshift Spectrum
Amazon Redshift RA3 nodes
Concurrency scaling
Federated query
Data sharing
Amazon Redshift ML
Amazon Redshift Query Editor V2
Amazon
Redshift
Terabytes to petabytes to exabytes
Data sharing with
AWS Data Exchange
Amazon Redshift Serverless
Amazon Kinesis streaming
ingestion
Concurrency writes
Role-based access control,
identity management updates
Leader node
Amazon Redshift
managed storage
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Listening to our customers
2013 2023
Amazon Redshift launched as
the first MPP cloud data
warehouse at a price
performance unattainable in
on-premises MPP DWs
Amazon Redshift Spectrum
Amazon Redshift RA3 nodes
Concurrency scaling
Federated query
Data sharing
Amazon Redshift ML
Amazon Redshift Query Editor V2
Amazon
Redshift
Terabytes to petabytes to exabytes
Data sharing with
AWS Data Exchange
Amazon Redshift Serverless
Amazon Kinesis streaming
ingestion
Concurrency writes
Role-based access control,
identity management updates
Leader node
Amazon Redshift
managed storage
Cluster
cluster
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Listening to our customers
2013 2023
Amazon Redshift launched as
the first MPP cloud data
warehouse at a price
performance unattainable in
on-premises MPP DWs
Amazon Redshift Spectrum
Amazon Redshift RA3 nodes
Concurrency scaling
Federated query
Data sharing
Amazon Redshift ML
Amazon Redshift Query Editor V2
Amazon
Redshift
Terabytes to petabytes to exabytes
Data sharing with
AWS Data Exchange
Amazon Redshift Serverless
Amazon Kinesis streaming
ingestion
Concurrency writes
Role-based access control,
identity management updates
Leader node
Amazon Redshift
managed storage
Amazon Redshift Serverless
Intelligent
and
dynamic
compute
management
Cluster
cluster
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Data science
Marketing
Serverless endpoint
Finance
Provisioned cluster
Sales
Serverless endpoint
Provisioned cluster
Redshift Provision/Serverless 로 유연성 있는 다양한 architectures 구성
세분화된 제어 및 사용자 정의
프로비저닝 환경
Amazon Redshift
Provisioned
인프라 관리 없이 새로운 데이터
웨어하우징 워크로드 시작
Takes care of your infrastructure
Amazon Redshift
Serverless
• 사용한 시간 만큼 과금
• Auto Scale
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Redshift innovates to meet your needs
Analyze all
your data
Best price
performance
at any scale
Easy analytics
for everyone
RA3
nodes &
managed
storage
Concurrency
scaling for
reads and
writes
Security,
governance
& compliance
Workload
management
enhancements
SQL
enhancements
& migration
support
Serverless Automated DW
management
Automatic
materialized
views
Data API AWS
CloudFormation
templates
Amazon
Redshift
Advisor
Grafana
Plugin
Query
editor v2
Data sharing Amazon
Redshift ML
AWS Data
Exchange
integration
Federated
query
SUPER data
type with
JSON
Geospatial
enhancements
Aurora Zero
ETL with
Redshift
(Preview)
Redshift
Streaming
Ingestion
Apache Spark
Connector
Multi-AZ
Deployment
(Preview)
Data Sharing
Access Control
via AWS Lake
Formation
(Preview)
Condition
column
Mask column
ID
Geo-
location Name Phone number
123 WA Ana 123-456-3568
124 NY Alice 123-457-****
125 WA Bruce 123-457-3569
126 CA Chris 123-457-****
130 CA Sharon 123-457-****
Dynamic Data
Masking
(Preview)
Auto Copy
from S3
(Preview)
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Analyze all your data across data stores,
organizations, third party data for
powerful analytics
Zero
ETL!
No data
movement
Secure and consistent
data sharing
Data Lake
analytics
No data
duplication
ML in
SQL
Use your favorite
BI tool
Spark application
development
Auto
Ingestion of
S3 files
Data ingestion
Query data where it lives
Federated Queries
Amazon Redshift
data lake queries
Operational
databases
BI and analytics apps
Connect apps to analyze and visualize your data
Amazon S3 data lake
Keep up to exabytes of data in Amazon S3
SQL
Amazon
Redshift ML
Amazon Redshift
ML and
analytics services
Analyze open standards-
based data formats
Data sharing
Data marketplaces for
third-party data
Amazon S3 Amazon Redshift Auto-ingestion / Informatica data loader
Amazon
Redshift
integration
for Apache
Spark
Redshift producer and
consumer clusters
Streaming ingestion
Kinesis Data
Streams, MSK
Amazon Aurora Zero-ETL to Amazon Redshift
Data Lake export
[PREVIEW]
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
2. LG 이노텍의 데이터 분석 플랫폼 소개 및 변화과정
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 15
모바일 기기에 적용되는 초슬림 고화소 카메라 모듈을
비롯해 3D 센싱 모듈 분야의 글로벌 시장을 선도하고,
차량용 카메라, XR(확장현실) 등 사업 분야도 시장을
주도하고 있습니다.
첨단 스마트폰 IT/Server 용 반도체에 적용되는 Package-
Substrate, 고해상도 디스플레이에 사용되는 Tape-
Substrate를 생산 중이며, FC-BGA 신규 사업 추진을 통해
미래 글로벌 기판 시장의 혁신을 주도하고 있습니다.
디스플레이용 초슬림 PSU와 편리하고 안전한 IoT
환경 구축을 위한 고감도 통신부품 및 센서
분야에서 글로벌 시장 리더쉽을 확보하고 있습니다.
통신 모듈, 자율주행용 센서, 파워 모듈 등 미래 자동차
트렌드에 맞는 토탈 솔루션을 제공합니다. 주행 안정성,
운전자 편의 제공 및 성능 향상을 위한 기술로 글로벌
시장을 확대하고 있습니다 .
Camera Module
3D Sensing Module
Actuator
Package Substrate
FC-BGA
Tape Substrate
Display Mask
Power Solution
Smart Connectivity Solution
Connectivity Solution
Autonomous Driving Solution
Electrification Solution
Lighting Solution
광학 솔루션 기판
소재
전장 부품 전자 부품
LG 이노텍 사업 영역
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 민주화를 목표로 POC 및 테스트를 통한 단계별 데이터플랫폼 구축
ㄱ
수집/통합 및 적재
운영 시스템
공정 데이터
Data Lake / Warehouse 활용 Application
SAS (통계/분석, 시각화)
MLOps(지능형 고급 분석)
MSTR (리포팅,대시보드)
데이터 활용
통합 데이터 플랫폼
데이터 포털
개인 추천 서비스
데이터 현황
데이터 검색 마이페이지 사용자 지원
데이터 거버넌스
데이터 표준
데이터
카탈로그
데이터
품질관리
데이터
보안관리
거버넌스 점검
및 변경관리
• 2023년(예정)
• 지능형 분석 결과와 운영시스템 간
양방향 Feedback Service 구축
• 2022년
• 마케팅, 설비, 안전환경 데이터 적재
• 지능형 분석/추론 MLOps 환경 구축
• 2021년
• 데이터 거버넌스 체계 수립
• 데이터 포털 구축
• 경영지표(ERP, SCM) 데이터 적재
• 2020년
• 생산데이터(MES) 중심 정형/비정형
분석 활용 환경(MSTR, SAS) 구축
• 2019년
• AWS 기반의 통합데이터플랫폼 구축
원천
설비
Sensor
데이터 수집/적재/활용
설비Log 데이터(반정형)
실험/센서 데이터(비정형)
제조, 경영 데이터(정형)
MES
ERP
SCM
Feedback Service
AI / DX 과제와 시스템 간 연계 강화
LG 이노텍 통합 데이터 플랫폼
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
LG 이노텍 Data Platform
통계/분석
On-Premise
ML/DL
리포팅/
대시보드
AWS Glue Amazon Athena
(View 조회)
AWS IOT Greengrass
(설비데이터 수집)
Amazon S3
(설비파일 적재)
Amazon MSK
(실시간 수집)
Amazon EC2
(데이터 처리)
Amazon ElastiCache
(실시간 모니터링)
AWS Glue
(파싱/병합/전처리)
AWS Glue
클라우드
설비
Sensor
Amazon S3
(장기보관 데이터)
ERP/MES Amazon Redshift
(원천 적재)
Amazon Redshift
(표준화/통합 배치)
Amazon Redshift
(요약/집계 제공)
Amazon S3
(원천 적재)
Amazon S3
(Map Type 변환)
Amazon S3
(파티셔닝)
Amazon S3
(설비/IOT 파일)
Informatica Informatica
Informatica
기존 통합 데이터 플랫폼 아키텍처
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
조회 성능에 대한 사용자 불만
리포트 조회 시 마다 성능 편차로 인한
사용자 불만 증대
데이터 적재량 증가 및 배치성능 이슈
데이터 적재량 지속 증가에 따른 저장공간
및 배치 성능 개선 필요
Batch 주기 개선 요구
기존 공정 Shift 단위 주기 데이터
제공에서 시간단위 데이터 제공 요구
기존 통합 데이터 플랫폼 이슈
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
0
10
20
30
40
50
60
플랫폼 내 데이터 적재량 지속 증가
32TB 한계
(DS2.8xlarge 2 Node)
고정적인 데이터 적재 공간
저장 공간/비용/성능 효율화 필요
size(TB)
기존 플랫폼의 이슈 #1. 저장공간 및 배치성능 저하
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
배치 적재 수행시간 증가
대용량 테이블로의 전환
클라우드 Infra 기준의 성능 상향 고려
Amazon Redshift Amazon Redshift
Source Target
Call
Procedure
Max 9,000 Sec ± α
데이터 변환/요약 집계 배치
기존 플랫폼의 이슈 #1. 저장공간 및 배치성능 저하
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Batch시간 Amazon Redshift 리소스 점유 증가
Hourly 주기 데이터 적재 요구
Batch/조회 영역 간섭 해소 필요
1h 2h 3h 4h
Shift 단위 배치 수행
Hourly 단위 배치 수행(예상)
기존 플랫폼의 이슈 #2. 조회 성능보장 및 Hourly 적용
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
OLAP 영역 워크로드
클러스터 분리 후 조회 영역 적은 활용
효율적인 활용형태 고려
Serverless 전환에 대한 고민
ETL-Batch 영역 워크로드
기존 플랫폼의 이슈 #3. Provisioned vs. Serverless
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
고민 사항들
비용 및 성능 효율화
배치 및 조회 간섭 해소
서버리스 Soft Landing 전환
노드 타입 변경 체크
Data Share 적용 체크
서버리스 전환 체크
개선 체크 포인트
●
●
●
개선 수행을 위한 방법론 필요
●
●
●
데이터 플랫폼 이슈 해결을 위한 발상의 전환
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
POC
&
검증
케이스 적용 건 구체화
테스트 베드 구성
테스트 수행 및 결과 도출
운영 이관 및 모니터링
Task 협의체 브레인스토밍
반복적인 PoC 검증을 통한 개선 활동 수행
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Cloud
Amazon Redshift
(RA3.4xlarge 5 Node)
Provisioned Cluster
Consumer
Amazon Redshift Serverless
64 RPU
데이터 공유
Workgroup – MSTR
Workgroup – SaS
Workgroup – MLOps
Producer
Amazon Redshift Serverless
64 RPU
Amazon Redshift Serverless
64 RPU
통계/분석
ML/DL
리포팅/
대시보드
데이터 공유
데이터 공유
Amazon Redshift Serverless 아키텍처(개선 후)
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
3. 통합 데이터 플랫폼 향상을 위한 기술적 접근 방법
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Redshift DS2
• 높은 압축률과 HDD 기반의 스토리지 특화
• 결합된 컴퓨팅/스토리지
기술적 접근 방법 #1. 클러스터 타입 변경
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Redshift DS2
• 높은 압축률과 HDD 기반의 스토리지 특화
• 결합된 컴퓨팅/스토리지
기술적 접근 방법 #1. 클러스터 타입 변경
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Redshift DS2
Amazon Redshift RA3
• 동일 요금 기준 가용 자원 증가
• Redshift Managed Storage(RMS)와 컴퓨팅 분리
클러스터 타입 변경
• 높은 압축률과 HDD 기반의 스토리지 특화
• 결합된 컴퓨팅/스토리지
기술적 접근 방법 #1. 클러스터 타입 변경
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Redshift DS2
• 실 운영 데이터 기반의 개발 환경 구축
• 탄력적 크기 조정(Elastic Resize)을 통한 빠른 테스트
스냅샷 복원 및 크기 조정
RA3 테스트 및 이관
Amazon Redshift RA3
• 동일 요금 기준 가용 자원 증가
• Redshift Managed Storage(RMS)와 컴퓨팅 분리
• 높은 압축률과 HDD 기반의 스토리지 특화
• 결합된 컴퓨팅/스토리지
클러스터 타입 변경
기술적 접근 방법 #1. 클러스터 타입 변경
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 성숙도 증대
• RA3 변경이후 사용 인원 및 사용 시간 증가
• 원천 시스템과 집계 프로그램
기술적 접근 방법 #2. Scale-up vs. Data Share
Amazon Redshift
RA3.4xlarge
5 Node
RA3.4xlarge
10 Node
RA3.16xlarge
2 Node
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 성숙도 증대
워크로드 분리
• 최대 동시 수행 가능 쿼리 제한
• WLM 큐 분리로도 불가능한 완벽한 자원 분리 필요
• RA3 변경이후 사용 인원 및 사용 시간 증가
• 원천 시스템과 집계 프로그램
워크로드 관리(WLM) 큐 분리
Amazon Redshift
RA3.4xlarge
5 Node
RA3.4xlarge
10 Node
RA3.16xlarge
2 Node
기술적 접근 방법 #2. Scale-up vs. Data Share
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
데이터 성숙도 증대
워크로드 분리
• 최대 동시 수행 가능 쿼리 제한
• WLM 큐 분리로도 불가능한 완벽한 자원 분리 필요
• RA3 변경이후 사용 인원 및 사용 시간 증가
• 원천 시스템과 집계 프로그램
워크로드 관리(WLM) 큐 분리
Amazon Redshift
RA3.4xlarge
5 Node
RA3.4xlarge
10 Node
RA3.16xlarge
2 Node
기술적 접근 방법 #2. Scale-up vs. Data Share
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• 스냅샷 복원을 통한 개발 데이터 공유 환경 구축
• 데이터 조회 가능 시점 단축과 시간 배치 환경 구축
데이터 지연 및 배치주기 단축
워크로드 관리(WLM) 큐 분리
데이터 공유 설정
데이터 성숙도 증대
• RA3 변경이후 사용 인원 및 사용 시간 증가
• 원천 시스템과 집계 프로그램
워크로드 분리
• 최대 동시 수행 가능 쿼리 제한
• WLM 큐 분리로도 불가능한 완벽한 자원 분리 필요
Amazon Redshift Amazon Redshift
Producer Consumer
데이터 공유
Amazon Redshift
RA3.4xlarge
5 Node
RA3.4xlarge
10 Node
RA3.16xlarge
2 Node
기술적 접근 방법 #2. Scale-up vs. Data Share
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
편향된 쿼리 수행 패턴
• 업무시간 위주의 쿼리 수행과 해외 법인 존재
• 워크로드 수동 관리는 현실적으로 불가
기술적 접근 방법 #3. 서버리스 도입
Amazon Redshift
Provisioned
Amazon Redshift
Provisioned
Producer Consumer
데이터 공유
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
편향된 쿼리 수행 패턴
응용 프로그램 확장 용이
• 워크로드별 구축을 통한 자원경합 해결
• 활용 패턴별 자원 특화 가능
비용 최적화
• 사용한 만큼 과금
• 관리 공수 감소
서버리스 도입
• 업무시간 위주의 쿼리 수행과 해외 법인 존재
• 워크로드 수동 관리는 현실적으로 불가
Amazon Redshift
Provisioned
Amazon Redshift
Serverless
Producer Consumer
기술적 접근 방법 #3. 서버리스 도입
Amazon Redshift
Provisioned
Amazon Redshift
Provisioned
Producer Consumer
데이터 공유
데이터 공유
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
편향된 쿼리 수행 패턴
응용 프로그램 확장 용이
• 워크로드별 구축을 통한 자원경합 해결
• 활용 패턴별 자원 특화 가능
비용 최적화
• 사용한 만큼 과금
• 관리 공수 감소
서버리스 도입
• 업무시간 위주의 쿼리 수행과 해외 법인 존재
• 워크로드 수동 관리는 현실적으로 불가
Amazon Redshift
Provisioned
Amazon Redshift
Serverless
Producer Consumer
기술적 접근 방법 #3. 서버리스 도입
Amazon Redshift
Provisioned
Amazon Redshift
Provisioned
Producer Consumer
데이터 공유
데이터 공유
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• 프로비전드와 서버리스간 데이터 공유 설정시 암호화는 필수임
• Faster Classic Resize를 통한 빠른 암호화 적용?
• 암호화는 1시간 내로 완료
• 내부적으로 재분산 작업이 일어나, 실 운영 시점까지 장시간 소요
• 데이터양에 따라 적용 시간 상이
• 암호화와 복호화에 따른 성능저하 없음
고려 사항 #1. 암호화
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• 프로비전드와 서버리스간 데이터 공유 설정시 암호화는 필수임
• Faster Classic Resize를 통한 빠른 암호화 적용?
• 암호화는 1시간 내로 완료
• 내부적으로 재분산 작업이 일어나, 실 운영 시점까지 장시간 소요
• 데이터양에 따라 적용 시간 상이
• 암호화와 복호화에 따른 성능저하 없음
고려 사항 #1. 암호화
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• 정렬/분산을 AUTO로 설정시 내부 작업이 지속적으로 수행됨
• ETL / OLAP 쿼리가 수행되는 상황에서도 수행
• 리소스 경합에 따른 성능저하에 영향
• 테이블별 분석이 필요하기에 관리 공수는 증가하나 성능은 향상됨
• 서버리스의 경우 버전업이 자동으로 수행됨
• 신규 생성 뷰 / 수정된 뷰가 조회 안되는 문제 발생
• Support Case 확인 결과, 자동 버전업이 진행이 안되어 object id를 정상적으로 못 받아옴
• 사용자에 의한 수동 버전업은 불가
고려 사항 #2. 완전 자동화 기능의 맹점
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• 정렬/분산을 AUTO로 설정시 내부 작업이 지속적으로 수행됨
• ETL / OLAP 쿼리가 수행되는 상황에서도 수행
• 리소스 경합에 따른 성능저하에 영향
• 테이블별 분석이 필요하기에 관리 공수는 증가하나 성능은 향상됨
• 서버리스의 경우 버전업이 자동으로 수행됨
• 신규 생성 뷰 / 수정된 뷰가 조회 안되는 문제 발생
• Support Case 확인 결과, 자동 버전업이 진행이 안되어 object id를 정상적으로 못 받아옴
• 사용자에 의한 수동 버전업은 불가
고려 사항 #2. 완전 자동화 기능의 맹점
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• 네트워크 사전 확보 필요
• Redshift Processing Unit(RPU)가 많아질 수록 서브넷 IP가 많이 필요함
• Cold Start
• 오랫동안 사용하지 않은 경우, 자원을 신규로 할당 받아 쿼리를 수행함
• 이 과정에서 쿼리가 수행되는 경우, 에러 메시지와 함께 종료될 수 있음
• 배치 작업 전 강제로 임의의 쿼리 수행하도록 조치 가능
고려 사항 #3. 서버리스의 제약
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• 네트워크 사전 확보 필요
• Redshift Processing Unit(RPU)가 많아질 수록 서브넷 IP가 많이 필요함
• Cold Start
• 오랫동안 사용하지 않은 경우, 자원을 신규로 할당 받아 쿼리를 수행함
• 이 과정에서 쿼리가 수행되는 경우, 에러 메시지와 함께 종료될 수 있음
• 배치 작업 전 강제로 임의의 쿼리 수행하도록 조치 가능
고려 사항 #3. 서버리스의 제약
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Cloud
Amazon Redshift
Consumer
Amazon S3
AWS Lake Formation
데이터 공유
거버넌스
AWS Glue
Amazon AppStream 2.0
Amazon Redshift
Producer
Amazon EC2
ETL 리포팅/
대시보드
ML/DL
통계/분석
2023년 목표 데이터 분석 플랫폼 아키텍처
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS 기반 솔루션을 통한 DATA MESH로의 방향성을 목표로 개선활동 수행
데이터 수집영역 고도화 데이터 활용형태 확산
• 정형 / 비정형 수집 관리 확대
• 데이터 특성별 수집 구조 개선
데이터 관리체계 재정립
• 권한체계 수립
• Data As a Product
• 데이터 카탈로그 확산
• 응용 영역 클라우드화
향후 LG 이노텍 데이터 분석 플랫폼의 목표
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Cloud
Amazon Redshift
Consumer
Amazon S3
AWS Lake Formation
Data Share
Governance
Amazon Aurora
AWS Glue
Auto-copy
Zero-ETL
Producer Consumer
Data Steward
AWS Glue
Amazon Kinesis
Data Streams
Amazon Kinesis
Data Firehose
Amazon AppStream 2.0
Amazon Redshift
Producer
Amazon DataZone
Amazon S3
리포팅/
대시보드
ML/DL
통계/분석
향후 데이터 메쉬기반의 데이터 분석 플랫폼의 모습
AWS DATA ROADSHOW 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Thank you!
1 sur 47

Contenu connexe

Tendances(20)

Similaire à LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023(20)

Plus de Amazon Web Services Korea(17)

AWS Modern Infra with Storage Roadshow 2023 - Day 2AWS Modern Infra with Storage Roadshow 2023 - Day 2
AWS Modern Infra with Storage Roadshow 2023 - Day 2
Amazon Web Services Korea169 vues
AWS Modern Infra with Storage Roadshow 2023 - Day 1AWS Modern Infra with Storage Roadshow 2023 - Day 1
AWS Modern Infra with Storage Roadshow 2023 - Day 1
Amazon Web Services Korea102 vues

LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노텍│ 김태규 선임, LG CNS│ 김도균, ACE Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

  • 1. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 LG 이노텍 : 유재상 선임 LG CNS : 김태규 선임 AWS : 김도균 Specialist “LG 이노텍은 세계 시장을 선도하는 글로벌 소재·부품기업으로, Amazon Redshift 을 데이터 분석 플랫폼의 핵심 서비스로 활용하고 있습니다.지속적인 데이터 증가와 업무 확대에 따른 유연한 아키텍처 개선의 필요성에 대처하기 위해, 2022년에 AWS 에서 발표된 Redshift Serverless 를 활용한, 비용 최적화된 아키텍처 개선 과정의 실사례를 엿볼수 있는 기회가 됩니다.”
  • 2. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda 1. AWS REDSHIFT 혁신 과정 소개. 2. LG 이노텍의 데이터 분석 플랫폼 소개 및 변화과정. 3. 통합 데이터 플랫폼 향상을 위한 기술적 접근 방법. 4. Q/A
  • 3. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1. AWS Redshift 혁신 과정 소개.
  • 4. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4 포괄적이면서 개방적인 AWS 서비스 데이터 이동 분석 데이터 레이크 인프라 & 관리 데이터, 시각화, 참여 & 기계 학습 + 그 외 다양한 Redshift EMR (Spark & Hadoop) Athena OpenSearch Service Kinesis Data Analytics AWS Glue (Spark & Python) S3/Glacier AWS Glue Lake Formation QuickSight SageMaker Comprehend Lex Polly Rekognition Translate Database Migration Service | Snowball | Snowmobile | Kinesis Data Streams | Kinesis Data Firehose | Managed Streaming for Apache Kafka Pinpoint Data Exchange
  • 5. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift - Happy 10th Year Anniversary!
  • 6. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Data 의 증가됨에 따른 도전 과제 AWS Redshift 6 고객의 다음과 같이 말하고 있습니다 “데이터 사용자 가 증가되고, 분석할 데이터는 어디에나 있습니다." “분석 워크로드는 Mission Critical 하며 24/7 실행됩니다” “통제가 가능하면서도, 모든 양의 데이터 또는 사용량에 대해 일관된 고성능을 원합니다” “안전하고 잘 관리되고 확장 가능한 아키텍처를 찾고 있습니다”
  • 7. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Listening to our customers 2013 2023 Amazon Redshift launched as the first MPP cloud data warehouse at a price performance unattainable in on-premises MPP DWs Amazon Redshift Spectrum Amazon Redshift RA3 nodes Concurrency scaling Federated query Data sharing Amazon Redshift ML Amazon Redshift Query Editor V2 Amazon Redshift Terabytes to petabytes to exabytes Data sharing with AWS Data Exchange Amazon Redshift Serverless Amazon Kinesis streaming ingestion Concurrency writes Role-based access control, identity management updates
  • 8. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Listening to our customers 2013 2023 Amazon Redshift launched as the first MPP cloud data warehouse at a price performance unattainable in on-premises MPP DWs Amazon Redshift Spectrum Amazon Redshift RA3 nodes Concurrency scaling Federated query Data sharing Amazon Redshift ML Amazon Redshift Query Editor V2 Amazon Redshift Terabytes to petabytes to exabytes Data sharing with AWS Data Exchange Amazon Redshift Serverless Amazon Kinesis streaming ingestion Concurrency writes Role-based access control, identity management updates Leader node Amazon Redshift managed storage
  • 9. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Listening to our customers 2013 2023 Amazon Redshift launched as the first MPP cloud data warehouse at a price performance unattainable in on-premises MPP DWs Amazon Redshift Spectrum Amazon Redshift RA3 nodes Concurrency scaling Federated query Data sharing Amazon Redshift ML Amazon Redshift Query Editor V2 Amazon Redshift Terabytes to petabytes to exabytes Data sharing with AWS Data Exchange Amazon Redshift Serverless Amazon Kinesis streaming ingestion Concurrency writes Role-based access control, identity management updates Leader node Amazon Redshift managed storage Cluster cluster
  • 10. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Listening to our customers 2013 2023 Amazon Redshift launched as the first MPP cloud data warehouse at a price performance unattainable in on-premises MPP DWs Amazon Redshift Spectrum Amazon Redshift RA3 nodes Concurrency scaling Federated query Data sharing Amazon Redshift ML Amazon Redshift Query Editor V2 Amazon Redshift Terabytes to petabytes to exabytes Data sharing with AWS Data Exchange Amazon Redshift Serverless Amazon Kinesis streaming ingestion Concurrency writes Role-based access control, identity management updates Leader node Amazon Redshift managed storage Amazon Redshift Serverless Intelligent and dynamic compute management Cluster cluster
  • 11. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Data science Marketing Serverless endpoint Finance Provisioned cluster Sales Serverless endpoint Provisioned cluster Redshift Provision/Serverless 로 유연성 있는 다양한 architectures 구성 세분화된 제어 및 사용자 정의 프로비저닝 환경 Amazon Redshift Provisioned 인프라 관리 없이 새로운 데이터 웨어하우징 워크로드 시작 Takes care of your infrastructure Amazon Redshift Serverless • 사용한 시간 만큼 과금 • Auto Scale
  • 12. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift innovates to meet your needs Analyze all your data Best price performance at any scale Easy analytics for everyone RA3 nodes & managed storage Concurrency scaling for reads and writes Security, governance & compliance Workload management enhancements SQL enhancements & migration support Serverless Automated DW management Automatic materialized views Data API AWS CloudFormation templates Amazon Redshift Advisor Grafana Plugin Query editor v2 Data sharing Amazon Redshift ML AWS Data Exchange integration Federated query SUPER data type with JSON Geospatial enhancements Aurora Zero ETL with Redshift (Preview) Redshift Streaming Ingestion Apache Spark Connector Multi-AZ Deployment (Preview) Data Sharing Access Control via AWS Lake Formation (Preview) Condition column Mask column ID Geo- location Name Phone number 123 WA Ana 123-456-3568 124 NY Alice 123-457-**** 125 WA Bruce 123-457-3569 126 CA Chris 123-457-**** 130 CA Sharon 123-457-**** Dynamic Data Masking (Preview) Auto Copy from S3 (Preview)
  • 13. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Analyze all your data across data stores, organizations, third party data for powerful analytics Zero ETL! No data movement Secure and consistent data sharing Data Lake analytics No data duplication ML in SQL Use your favorite BI tool Spark application development Auto Ingestion of S3 files Data ingestion Query data where it lives Federated Queries Amazon Redshift data lake queries Operational databases BI and analytics apps Connect apps to analyze and visualize your data Amazon S3 data lake Keep up to exabytes of data in Amazon S3 SQL Amazon Redshift ML Amazon Redshift ML and analytics services Analyze open standards- based data formats Data sharing Data marketplaces for third-party data Amazon S3 Amazon Redshift Auto-ingestion / Informatica data loader Amazon Redshift integration for Apache Spark Redshift producer and consumer clusters Streaming ingestion Kinesis Data Streams, MSK Amazon Aurora Zero-ETL to Amazon Redshift Data Lake export [PREVIEW]
  • 14. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2. LG 이노텍의 데이터 분석 플랫폼 소개 및 변화과정
  • 15. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 15 모바일 기기에 적용되는 초슬림 고화소 카메라 모듈을 비롯해 3D 센싱 모듈 분야의 글로벌 시장을 선도하고, 차량용 카메라, XR(확장현실) 등 사업 분야도 시장을 주도하고 있습니다. 첨단 스마트폰 IT/Server 용 반도체에 적용되는 Package- Substrate, 고해상도 디스플레이에 사용되는 Tape- Substrate를 생산 중이며, FC-BGA 신규 사업 추진을 통해 미래 글로벌 기판 시장의 혁신을 주도하고 있습니다. 디스플레이용 초슬림 PSU와 편리하고 안전한 IoT 환경 구축을 위한 고감도 통신부품 및 센서 분야에서 글로벌 시장 리더쉽을 확보하고 있습니다. 통신 모듈, 자율주행용 센서, 파워 모듈 등 미래 자동차 트렌드에 맞는 토탈 솔루션을 제공합니다. 주행 안정성, 운전자 편의 제공 및 성능 향상을 위한 기술로 글로벌 시장을 확대하고 있습니다 . Camera Module 3D Sensing Module Actuator Package Substrate FC-BGA Tape Substrate Display Mask Power Solution Smart Connectivity Solution Connectivity Solution Autonomous Driving Solution Electrification Solution Lighting Solution 광학 솔루션 기판 소재 전장 부품 전자 부품 LG 이노텍 사업 영역
  • 16. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 민주화를 목표로 POC 및 테스트를 통한 단계별 데이터플랫폼 구축 ㄱ 수집/통합 및 적재 운영 시스템 공정 데이터 Data Lake / Warehouse 활용 Application SAS (통계/분석, 시각화) MLOps(지능형 고급 분석) MSTR (리포팅,대시보드) 데이터 활용 통합 데이터 플랫폼 데이터 포털 개인 추천 서비스 데이터 현황 데이터 검색 마이페이지 사용자 지원 데이터 거버넌스 데이터 표준 데이터 카탈로그 데이터 품질관리 데이터 보안관리 거버넌스 점검 및 변경관리 • 2023년(예정) • 지능형 분석 결과와 운영시스템 간 양방향 Feedback Service 구축 • 2022년 • 마케팅, 설비, 안전환경 데이터 적재 • 지능형 분석/추론 MLOps 환경 구축 • 2021년 • 데이터 거버넌스 체계 수립 • 데이터 포털 구축 • 경영지표(ERP, SCM) 데이터 적재 • 2020년 • 생산데이터(MES) 중심 정형/비정형 분석 활용 환경(MSTR, SAS) 구축 • 2019년 • AWS 기반의 통합데이터플랫폼 구축 원천 설비 Sensor 데이터 수집/적재/활용 설비Log 데이터(반정형) 실험/센서 데이터(비정형) 제조, 경영 데이터(정형) MES ERP SCM Feedback Service AI / DX 과제와 시스템 간 연계 강화 LG 이노텍 통합 데이터 플랫폼
  • 17. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. LG 이노텍 Data Platform 통계/분석 On-Premise ML/DL 리포팅/ 대시보드 AWS Glue Amazon Athena (View 조회) AWS IOT Greengrass (설비데이터 수집) Amazon S3 (설비파일 적재) Amazon MSK (실시간 수집) Amazon EC2 (데이터 처리) Amazon ElastiCache (실시간 모니터링) AWS Glue (파싱/병합/전처리) AWS Glue 클라우드 설비 Sensor Amazon S3 (장기보관 데이터) ERP/MES Amazon Redshift (원천 적재) Amazon Redshift (표준화/통합 배치) Amazon Redshift (요약/집계 제공) Amazon S3 (원천 적재) Amazon S3 (Map Type 변환) Amazon S3 (파티셔닝) Amazon S3 (설비/IOT 파일) Informatica Informatica Informatica 기존 통합 데이터 플랫폼 아키텍처
  • 18. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 조회 성능에 대한 사용자 불만 리포트 조회 시 마다 성능 편차로 인한 사용자 불만 증대 데이터 적재량 증가 및 배치성능 이슈 데이터 적재량 지속 증가에 따른 저장공간 및 배치 성능 개선 필요 Batch 주기 개선 요구 기존 공정 Shift 단위 주기 데이터 제공에서 시간단위 데이터 제공 요구 기존 통합 데이터 플랫폼 이슈
  • 19. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 0 10 20 30 40 50 60 플랫폼 내 데이터 적재량 지속 증가 32TB 한계 (DS2.8xlarge 2 Node) 고정적인 데이터 적재 공간 저장 공간/비용/성능 효율화 필요 size(TB) 기존 플랫폼의 이슈 #1. 저장공간 및 배치성능 저하
  • 20. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 배치 적재 수행시간 증가 대용량 테이블로의 전환 클라우드 Infra 기준의 성능 상향 고려 Amazon Redshift Amazon Redshift Source Target Call Procedure Max 9,000 Sec ± α 데이터 변환/요약 집계 배치 기존 플랫폼의 이슈 #1. 저장공간 및 배치성능 저하
  • 21. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Batch시간 Amazon Redshift 리소스 점유 증가 Hourly 주기 데이터 적재 요구 Batch/조회 영역 간섭 해소 필요 1h 2h 3h 4h Shift 단위 배치 수행 Hourly 단위 배치 수행(예상) 기존 플랫폼의 이슈 #2. 조회 성능보장 및 Hourly 적용
  • 22. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. OLAP 영역 워크로드 클러스터 분리 후 조회 영역 적은 활용 효율적인 활용형태 고려 Serverless 전환에 대한 고민 ETL-Batch 영역 워크로드 기존 플랫폼의 이슈 #3. Provisioned vs. Serverless
  • 23. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 고민 사항들 비용 및 성능 효율화 배치 및 조회 간섭 해소 서버리스 Soft Landing 전환 노드 타입 변경 체크 Data Share 적용 체크 서버리스 전환 체크 개선 체크 포인트 ● ● ● 개선 수행을 위한 방법론 필요 ● ● ● 데이터 플랫폼 이슈 해결을 위한 발상의 전환
  • 24. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. POC & 검증 케이스 적용 건 구체화 테스트 베드 구성 테스트 수행 및 결과 도출 운영 이관 및 모니터링 Task 협의체 브레인스토밍 반복적인 PoC 검증을 통한 개선 활동 수행
  • 25. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Cloud Amazon Redshift (RA3.4xlarge 5 Node) Provisioned Cluster Consumer Amazon Redshift Serverless 64 RPU 데이터 공유 Workgroup – MSTR Workgroup – SaS Workgroup – MLOps Producer Amazon Redshift Serverless 64 RPU Amazon Redshift Serverless 64 RPU 통계/분석 ML/DL 리포팅/ 대시보드 데이터 공유 데이터 공유 Amazon Redshift Serverless 아키텍처(개선 후)
  • 26. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3. 통합 데이터 플랫폼 향상을 위한 기술적 접근 방법
  • 27. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift DS2 • 높은 압축률과 HDD 기반의 스토리지 특화 • 결합된 컴퓨팅/스토리지 기술적 접근 방법 #1. 클러스터 타입 변경
  • 28. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift DS2 • 높은 압축률과 HDD 기반의 스토리지 특화 • 결합된 컴퓨팅/스토리지 기술적 접근 방법 #1. 클러스터 타입 변경
  • 29. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift DS2 Amazon Redshift RA3 • 동일 요금 기준 가용 자원 증가 • Redshift Managed Storage(RMS)와 컴퓨팅 분리 클러스터 타입 변경 • 높은 압축률과 HDD 기반의 스토리지 특화 • 결합된 컴퓨팅/스토리지 기술적 접근 방법 #1. 클러스터 타입 변경
  • 30. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift DS2 • 실 운영 데이터 기반의 개발 환경 구축 • 탄력적 크기 조정(Elastic Resize)을 통한 빠른 테스트 스냅샷 복원 및 크기 조정 RA3 테스트 및 이관 Amazon Redshift RA3 • 동일 요금 기준 가용 자원 증가 • Redshift Managed Storage(RMS)와 컴퓨팅 분리 • 높은 압축률과 HDD 기반의 스토리지 특화 • 결합된 컴퓨팅/스토리지 클러스터 타입 변경 기술적 접근 방법 #1. 클러스터 타입 변경
  • 31. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 성숙도 증대 • RA3 변경이후 사용 인원 및 사용 시간 증가 • 원천 시스템과 집계 프로그램 기술적 접근 방법 #2. Scale-up vs. Data Share Amazon Redshift RA3.4xlarge 5 Node RA3.4xlarge 10 Node RA3.16xlarge 2 Node
  • 32. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 성숙도 증대 워크로드 분리 • 최대 동시 수행 가능 쿼리 제한 • WLM 큐 분리로도 불가능한 완벽한 자원 분리 필요 • RA3 변경이후 사용 인원 및 사용 시간 증가 • 원천 시스템과 집계 프로그램 워크로드 관리(WLM) 큐 분리 Amazon Redshift RA3.4xlarge 5 Node RA3.4xlarge 10 Node RA3.16xlarge 2 Node 기술적 접근 방법 #2. Scale-up vs. Data Share
  • 33. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 성숙도 증대 워크로드 분리 • 최대 동시 수행 가능 쿼리 제한 • WLM 큐 분리로도 불가능한 완벽한 자원 분리 필요 • RA3 변경이후 사용 인원 및 사용 시간 증가 • 원천 시스템과 집계 프로그램 워크로드 관리(WLM) 큐 분리 Amazon Redshift RA3.4xlarge 5 Node RA3.4xlarge 10 Node RA3.16xlarge 2 Node 기술적 접근 방법 #2. Scale-up vs. Data Share
  • 34. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 스냅샷 복원을 통한 개발 데이터 공유 환경 구축 • 데이터 조회 가능 시점 단축과 시간 배치 환경 구축 데이터 지연 및 배치주기 단축 워크로드 관리(WLM) 큐 분리 데이터 공유 설정 데이터 성숙도 증대 • RA3 변경이후 사용 인원 및 사용 시간 증가 • 원천 시스템과 집계 프로그램 워크로드 분리 • 최대 동시 수행 가능 쿼리 제한 • WLM 큐 분리로도 불가능한 완벽한 자원 분리 필요 Amazon Redshift Amazon Redshift Producer Consumer 데이터 공유 Amazon Redshift RA3.4xlarge 5 Node RA3.4xlarge 10 Node RA3.16xlarge 2 Node 기술적 접근 방법 #2. Scale-up vs. Data Share
  • 35. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 편향된 쿼리 수행 패턴 • 업무시간 위주의 쿼리 수행과 해외 법인 존재 • 워크로드 수동 관리는 현실적으로 불가 기술적 접근 방법 #3. 서버리스 도입 Amazon Redshift Provisioned Amazon Redshift Provisioned Producer Consumer 데이터 공유
  • 36. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 편향된 쿼리 수행 패턴 응용 프로그램 확장 용이 • 워크로드별 구축을 통한 자원경합 해결 • 활용 패턴별 자원 특화 가능 비용 최적화 • 사용한 만큼 과금 • 관리 공수 감소 서버리스 도입 • 업무시간 위주의 쿼리 수행과 해외 법인 존재 • 워크로드 수동 관리는 현실적으로 불가 Amazon Redshift Provisioned Amazon Redshift Serverless Producer Consumer 기술적 접근 방법 #3. 서버리스 도입 Amazon Redshift Provisioned Amazon Redshift Provisioned Producer Consumer 데이터 공유 데이터 공유
  • 37. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 편향된 쿼리 수행 패턴 응용 프로그램 확장 용이 • 워크로드별 구축을 통한 자원경합 해결 • 활용 패턴별 자원 특화 가능 비용 최적화 • 사용한 만큼 과금 • 관리 공수 감소 서버리스 도입 • 업무시간 위주의 쿼리 수행과 해외 법인 존재 • 워크로드 수동 관리는 현실적으로 불가 Amazon Redshift Provisioned Amazon Redshift Serverless Producer Consumer 기술적 접근 방법 #3. 서버리스 도입 Amazon Redshift Provisioned Amazon Redshift Provisioned Producer Consumer 데이터 공유 데이터 공유
  • 38. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 프로비전드와 서버리스간 데이터 공유 설정시 암호화는 필수임 • Faster Classic Resize를 통한 빠른 암호화 적용? • 암호화는 1시간 내로 완료 • 내부적으로 재분산 작업이 일어나, 실 운영 시점까지 장시간 소요 • 데이터양에 따라 적용 시간 상이 • 암호화와 복호화에 따른 성능저하 없음 고려 사항 #1. 암호화
  • 39. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 프로비전드와 서버리스간 데이터 공유 설정시 암호화는 필수임 • Faster Classic Resize를 통한 빠른 암호화 적용? • 암호화는 1시간 내로 완료 • 내부적으로 재분산 작업이 일어나, 실 운영 시점까지 장시간 소요 • 데이터양에 따라 적용 시간 상이 • 암호화와 복호화에 따른 성능저하 없음 고려 사항 #1. 암호화
  • 40. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 정렬/분산을 AUTO로 설정시 내부 작업이 지속적으로 수행됨 • ETL / OLAP 쿼리가 수행되는 상황에서도 수행 • 리소스 경합에 따른 성능저하에 영향 • 테이블별 분석이 필요하기에 관리 공수는 증가하나 성능은 향상됨 • 서버리스의 경우 버전업이 자동으로 수행됨 • 신규 생성 뷰 / 수정된 뷰가 조회 안되는 문제 발생 • Support Case 확인 결과, 자동 버전업이 진행이 안되어 object id를 정상적으로 못 받아옴 • 사용자에 의한 수동 버전업은 불가 고려 사항 #2. 완전 자동화 기능의 맹점
  • 41. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 정렬/분산을 AUTO로 설정시 내부 작업이 지속적으로 수행됨 • ETL / OLAP 쿼리가 수행되는 상황에서도 수행 • 리소스 경합에 따른 성능저하에 영향 • 테이블별 분석이 필요하기에 관리 공수는 증가하나 성능은 향상됨 • 서버리스의 경우 버전업이 자동으로 수행됨 • 신규 생성 뷰 / 수정된 뷰가 조회 안되는 문제 발생 • Support Case 확인 결과, 자동 버전업이 진행이 안되어 object id를 정상적으로 못 받아옴 • 사용자에 의한 수동 버전업은 불가 고려 사항 #2. 완전 자동화 기능의 맹점
  • 42. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 네트워크 사전 확보 필요 • Redshift Processing Unit(RPU)가 많아질 수록 서브넷 IP가 많이 필요함 • Cold Start • 오랫동안 사용하지 않은 경우, 자원을 신규로 할당 받아 쿼리를 수행함 • 이 과정에서 쿼리가 수행되는 경우, 에러 메시지와 함께 종료될 수 있음 • 배치 작업 전 강제로 임의의 쿼리 수행하도록 조치 가능 고려 사항 #3. 서버리스의 제약
  • 43. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 네트워크 사전 확보 필요 • Redshift Processing Unit(RPU)가 많아질 수록 서브넷 IP가 많이 필요함 • Cold Start • 오랫동안 사용하지 않은 경우, 자원을 신규로 할당 받아 쿼리를 수행함 • 이 과정에서 쿼리가 수행되는 경우, 에러 메시지와 함께 종료될 수 있음 • 배치 작업 전 강제로 임의의 쿼리 수행하도록 조치 가능 고려 사항 #3. 서버리스의 제약
  • 44. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Cloud Amazon Redshift Consumer Amazon S3 AWS Lake Formation 데이터 공유 거버넌스 AWS Glue Amazon AppStream 2.0 Amazon Redshift Producer Amazon EC2 ETL 리포팅/ 대시보드 ML/DL 통계/분석 2023년 목표 데이터 분석 플랫폼 아키텍처
  • 45. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 기반 솔루션을 통한 DATA MESH로의 방향성을 목표로 개선활동 수행 데이터 수집영역 고도화 데이터 활용형태 확산 • 정형 / 비정형 수집 관리 확대 • 데이터 특성별 수집 구조 개선 데이터 관리체계 재정립 • 권한체계 수립 • Data As a Product • 데이터 카탈로그 확산 • 응용 영역 클라우드화 향후 LG 이노텍 데이터 분석 플랫폼의 목표
  • 46. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Cloud Amazon Redshift Consumer Amazon S3 AWS Lake Formation Data Share Governance Amazon Aurora AWS Glue Auto-copy Zero-ETL Producer Consumer Data Steward AWS Glue Amazon Kinesis Data Streams Amazon Kinesis Data Firehose Amazon AppStream 2.0 Amazon Redshift Producer Amazon DataZone Amazon S3 리포팅/ 대시보드 ML/DL 통계/분석 향후 데이터 메쉬기반의 데이터 분석 플랫폼의 모습
  • 47. AWS DATA ROADSHOW 2023 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you!