AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
S E O U L | M A Y 3 , 2 0 2 3

SOCAR는 어떻게 2만대의 차량을 운영할까?
: IoT Data의 수집부터 분석까지
조현수
Solutions Architect
AWS
강명구
FMS Team, Team Lead
SOCAR
안재홍
Operation Group, DevOps Engineer
SOCAR

다양한 산업에서 IoT 중요성
SOCAR의 Carsharing과 FMS로 그리는 미래
기술로 풀어보는 IoT Data의 수집부터 분석까지
마무리
Agenda

다양한 산업에서 IoT 중요성

서비스로의 제품
(Product-as-a-
service)
디지털로
실행되는 제조업
데이터는
석유 그 이상
스마트 제품 지속 가능성
제조 산업 트렌드

IoT 적용 가능 워크로드들
연결 및 자율 주행 차량으로
운송 혁신
효율적인 재고 관리와
창고 운영
제조 공정의 성능 및
생산성 향상
더 높은 효율성으로
더 건강한 농작물 재배
원격으로 환자 상태 및 웰빙
애플리케이션 모니터링
지속 가능 및 에너지 자원을
보다 효율적으로 관리
가정, 사무실 및
공장 현장의 안전 강화
가정, 건물 및 도시에서
보다 스마트한 제품 및
사용자 환경 구축

IoT를 통한 비즈니스 성과
신규 서비스 및
비즈니스 모델
점점 좋아지는
제품
고객과의 관계
향상
효율성
증대
지능화된
의사결정
데이터 기반
정책
수익 증가
IoT 데이터로 비즈니스 성장 견인
운영 효율성
IoT 데이터로 운영 비용 감소

IoT 솔루션의 복잡성
연결,
커뮤니케이션,
보안
온보딩,
프로비저닝,
관리
디바이스 &
센서
연결성 &
인프라
분석,
시각화,
조치
분석 &
통찰력
참여,
권한부여,
경험
어플리케이션 &
서비스
변화,
혁신 문화
변화
관리

AWS IoT 서비스
디바이스
소프트웨어
분석
서비스
연결&제어
서비스

SOCAR의 Carsharing과
FMS로 그리는 미래

는 모든 사람이 자유롭고 행복하게
이동하는 세상을 만듭니다.

시장 선도 플레이어 성장 동력 규모의 경제
78%
국내 점유율 1위
카셰어링 플랫폼
시장점유율
브랜드 인지도
79%
업계 최고
브랜드 인지도
수익성
2022년
영업이익
흑자달성
112%+
2012-2021
매출액 CAGR
매출 성장률
회원 수
1,300만 명
총 회원 수 기반
슈퍼앱 도약
기술력
30%+
업계최고테크/엔지니어링
/데이터 전문 인력 비중
20,000여대
국내 최다
운영 차량 대수
차량 수
접근성
4,700+
국내 최대
규모의 쏘카존
정비∙세차 파트너
500개+
전국 네트워크
규모
최고 수준의 수익성을 갖춘 국내 1위 모빌리티 플랫폼

12년 간 국내 모빌리티 시장을 개척해온 “#1 모빌리티 DNA”
사업초기 단계 카셰어링성장 생태계구축 모빌리티플랫폼으로의전환
Inorganic
Growth
Organic
Growth
#1 모빌리티 밸류체인 확보
주차장
플랫폼
마이크로
모빌리티
플랫폼
라이드헤일링
“타다”
플릿
매니지먼트
시스템
자율주행
개발
차량
관리및 세차
모빌리티 관련
유일한 온∙오프라인
경쟁력 확보
쏘카설립 제주도내
카셰어링
서비스시작
주요도시로
확장
국내54개
주요도시로
확장
쏘카패스출시
VCNC인수
쏘카플랜출시
차케어인수
폴라리언트
합병
라이드플럭스
후속투자
자율주행
상업화
패스포트
출시
전략적투자자와
FMS운영
나인투원인수
라이드플럭스
후속투자
모두컴퍼니 인수
라이드플럭스
투자
2022
나인투원
투자
2011 2015 2020
2012 2018 2021
2013 2019
VCNC의
타다서비스
출시
코스피상장
모빌리티 DNA및 밸류체인을 확보한 유일한 플레이어

주행정보
누적주행거리1,765백만km
차량위치
쏘카존내정밀위치정보제공
속도및가속도
사고및긴급상황감지
엔진/배터리상태
원격차량점검및적절한조치
소모품교체
최적정비및교체시점결정
접근가능유저수
쏘카,모두의주차장,일레클등총1,300만명
앱접속위치
쏘카존확장및증차위치결정
선호차종
연령대별선호차종공급
선호지역및쏘카존
차량재배치및쿠폰발급
이용빈도
우수고객선별및혜택제공
국내 유일 차량 및 유저 양방향의 모든 운영 데이터를 수집 및 분석하여 서비스 고도화 달성
차량및이동데이터확보
(Quantity)
수요데이터확보
(Price)
차량제어및관리기술
(사고관련,정비)
서비스최적화기술
(마케팅)
차량 데이터 유저 데이터
직접 보유한 차량 및 유저 데이터 기반 운영 최적화

매출
대당 매출 상승 가동률 극대화
다이나믹 가격 모델
예약 시간, 장소 및 실시간 수요
반영한 탄력 가격 적용
(차량당 공헌이익 2~5% 증가)
부름 서비스 확장
자체 탁송기사 플랫폼을 통해
고객이 원하는 지점까지 차량을 배송하여
추가 수요 대응 및 대당 매출 상승
예약 최적화
파편화된 예약 슬롯을 재배치하여
차량 가동률 극대화
선별적 쿠폰 발행
공헌이익 기여가 높은 잠재 고객을
선발하여 쿠폰 발행
실시간 데이터 기반 가격결정 및 공급으로 매출 극대화

비용
차량 유지 / 관리 최적화 보험료 / 사고 비용 통제
세차 주기 최적화
세차 주기 최적화를 통해
최소 비용으로 차량 청결 유지
보험 사기 탐지 모델 (SIFT)
운전자 주행기록 분석 기반
보험 사기 자동 식별
(사고 관련 비용 5~6% 절감)
차량 유지·관리 플랫폼(URECA)
차량 부품 주문과 교체 프로세스를
자동화하여 유지비용 및 매출 손실 최소화
운전자 숙련도 식별
미숙련 운전자 자동 식별을 통해
가격 차등 책정
차량 유지관리 자동화 및 보험비 등 사고관련 비용 통제

자체 종합차량관제시스템 (OKSTRA) 운용
• 차량들의 실시간 위치 및 동선 추적 기능을 통한 효율적인 차량
배치와 회수, 어뷰징 및 도난 방지
• Reverse engineering 기반 실시간 주유량, 엔진 오일, 타이어 상태 등
상세한 차량 status 데이터 모니터링 을 통해 차량 이슈 선제 대응,
효율적인 부품 교체주기 설정 및 안전한 자산관리 수행
• 2만대 규모 직영 차량에 대한 관제를 통해 데이터에 기반한
정확한 자산 현황 파악 및 각종 사업 운영 인사이트 도출 가능
• 도어 제어를 포함한 원격 차량 제어 기술과
차량 속도, 공회전 시간 등 차량 데이터 접근을 통해 빠르고
정확한 고객 대응 및 인력 비용 효율화

유류비 관리 안전운전및 교육 보험료절감 사고 탐지 및 모니터링 EV관제
배차 관리
유지보수 FMS
실시간 위치 동선 최적화 업무 자동화
알림 서비스
주행 데이터
Fleet Management System (FMS) 란?
IoT 디바이스를 통해 수집 가능한 여러 차량 데이터들을 기반으로 차량을 관제하고, 운행 정보들을 분석하여 차량의 관리 및 운영을
효율화하는 차량 관제 플랫폼

• 3만대 이상의 Fleet을 직접 운영하며 쌓아온 방대한 차량 데이터
• 무한책임을 가지고 실질적인 문제들을 직접 시행착오를 거쳐 해결해 온 경험
• AI 등 효과적인 차량 운용 플랫폼 구축을 통한 차별화된 기술력
1. 단순한 FMS 서비스 범주를 탈피하여
유의미한 2차 가공 분석 데이터 및 사업적 Insight 제공
2. 분석 결과들을 통한 ‘실질적인’ 운영 개선 및 비용 절감 효과 창출
미션
rawdata
Analytics
SOCARFMS
Corevalue
역량
SOCAR FMS

차량 관제
차량 관제의 Potential을 극대화할 수 있는 차별화된 고객가치 제공
PoC Partners
비용 절감 사고율 절감
SOCAR FMS

는 카셰어링 서비스의 노하우를 기반으로
고객 가치를 극대화하는 “서비스” 중심의 FMS 솔루션을 만듭니다.

기술로 풀어보는
IoT Data의 수집부터 분석까지

안재홍 (Ahn, Jaehong)
SOCAR Operation Group
DevOps Engineer
▪ Go 언어, Docker, Kubernetes
▪ VSCode + Vim
▪ h0n9 (github.com/h0n9)
▪ Cloud Secrets Manager
▪ Kistio (Kafka + Istio)
▪ Msg Lake

들어가면서
숫자로 이야기해볼까요?
10년 870만 명 2만 여대 4천 7백 존

20,000 여대의 차량 관리
쉬웠을까요?
그대로일까요?
문제가 없었을까요?

IoT 데이터 파이프라인 구성 – 유년기 👶
성장의 과정
타 클라우드 플랫폼
AuroraMySQL
IoTDevice APIServer

IoT 디바이스가 직면한 한계
• 물리 차량 대수 증가
• RESTful API Server의 한계 (레거시, 스로틀링)
• 관리, 비용 이슈
해결해야 할 부분들

IoT 데이터 파이프라인 구성 - 소년기 👦
성장의 과정
타 클라우드플랫폼
AuroraMySQL
IoTThing APIServerV2
IoTCore
ServiceD ServiceE
ServiceA
ServiceB
ServiceC

데이터 분석 - 기존
기존에는 어떠한 DATA를 어디에 저장하고 있었을까요?
Car GPS
Car State
Car Blackbox
Sensor
…
Real-time
Historical
UPDATE/INSERT
INSERT
AuroraMySQL
💣

힘겨워 하는 Aurora 😥
한계에 가까워지는 데이터베이스
• IoT Data 적재량 증가
• CPU, Memory, Disk 사용량 증가
• 빈번한 데이터 적재 누락
• 쓰기 지연 발생
• 타 서비스 영향 발생
데이터 안정성, 신뢰성 위협 💥

데이터 분석 - 개선
올바른 목적 데이터베이스로 적재해봅시다
Car GPS
Car State
Car Blackbox
Sensor
…
Real-time
Historical
ElastiCache
DynamoDB

IoT 데이터 파이프라인 구성 – 성장기 📈
성장의 과정
IoTDevice IoTCore
DynamoDB
ElastiCache

데이터 파이프라인 - 스트림 구성
요구사항
• 서비스, 분석 등을 위해 재사용 가능한 IoT 데이터
• 어떠한 종류의 데이터베이스에도 데이터 적재
• 쉬운 데이터 파이프라인 추가 & 변경 (빨대 꼽는 것처럼)
✔ Data Stream 구성 의사결정

성장의 과정
IoT Device IoT Core
DynamoDB
ElastiCache
Data Stream 🌊

데이터 스트림 구현을 위한 밑바탕
한 발씩 앞으로
Amazon Managed Streaming for Apache Kafka

IoT Device IoT Core
DynamoDB
ElastiCache
MSK
성장의 과정
🔗
Connector

데이터 스트림과 데이터베이스 사이의 연결 고리
C O N N E C T O R 필요
🔗 기존 여러 종류의 Connector
▪ Amazon MSK Connect
▪ Apache Kafka Connect
▪ Confluent Connector
▪ Etc.
⚠️ 직면한 한계
▪ 가파른 러닝 커브
▪ 유연한 확장성 필요
▪ 종속성 최대한 배제
▪ 커스텀 로직 처리 필요

SOCAR Connector (🚙 + 🔗) 개발
그래서 직접 만들기로 했습니다
SOCAR RTVF (Real-time Vehicle Fleet) Connector

성장의 과정
IoT Device IoT Core
DynamoDB
ElastiCache
MSK RTVF Connector

마음가짐
RTVF CONNECTOR 톺아보기
"SIMPLE
IS
THE BEST"
DIVIDE
&
CONQUER
LIKE PLAYING
WITH
LEGO BLOCKS
"JUST DO IT"
"FAIL FAST,
LEARN FASTER"
BACK
TO
BASICS

우리가 풀어야 할 숙제들
1. 20,000 여대의 차량이 동시에 전송하는 데이터 핸들링
2. 어떠한 상황에서도 높은 성능 유지
3. 유연한 Message Protocol 핸들링
4. 여러가지 변경(추가, 수정)에 유연하게 대응
• Kafka Topic
• Message Protocol
• Database

디자인: 고려사항
SCALE-OUT-ABLE
(HIGH TRAFFIC)
LIGHT
(PERFORMANCE)
FLEXIBLE
(CHANGES)
EXTENDABLE
(DATABASES)

디자인: Divide & Conquer
DynamoDB
ElastiCache
MSK
RTVF Connector
Consumer Handler Loader

디자인: 숙제 1
20,000대 이상의 차량이 동시에 전송하는 데이터 핸들링

디자인: 숙제 1 해결 (코드)
Multi-Threading 적용
▪ Message가들어오는대로 Handlerthread생성
▪ 생성된Handler마다 Message를독립적으로처리
▪ Message양에따라 자동으로Scale in, out가능
RTVF Connector
Consumer Loader
Handler
Handler
Handler
Handler
Handler

Multi-Threading 적용
▪ Message가들어오는대로 Handlerthread 생성
▪ 생성된Handler마다 Message를독립적으로처리
▪ Message양에따라 자동으로Scale in, out가능
RTVF Connector
Consumer Loader
Handler
Handler
Handler
Handler
Handler
“근데, 진짜 20,000개를
처리할 수 있나요?”

MSK
RTVF Connector
(replication)
DynamoDB
ElastiCache
Infrastructure 개선
▪ RTVF Connector를ScaleOut하여
물리적으로처리할 수 있는 한계 확장
▪ KafkaConsumerGroup을이용한병렬처리
▪ ConsumerGroup에서,
최대 Consumer수 = TopicPartition개수
디자인: 숙제 1 해결 (인프라)

디자인: 숙제 2
어떠한 상황에서도 높은 Performance를 유지

디자인: 숙제 2 해결 (프로그래밍 언어)
• Light,Parallel키워드 → Go언어
• Goroutine:Go Runtime에의해 관리되는경량화 된 LogicalThread
▪ WaitGroup으로쉽고안전하게 관리가능
▪ 적은메모리사용
• Channel:Goroutine간의 통신을 위한 통로
• Build후 단일 Binary파일로 Artifact를생성하여
가벼운 ContainerImage 생성

• Goroutine이가벼워도처리해야하는
messages 개수가물리적으로늘어나면한계 도달
• 쉽게 Scale Out,Scale Up-Down가능한 환경 필요
→ Container,Kubernetes
• Scale Out:Pod의Replication을 늘림
(ConsumerGroup에Consumer추가)
• Scale Up: Pod에할당된Resource 증가
(RollingUpgrade로무중단서비스제공 가능)
• 특정 이벤트(🎄)트래픽집중에 효과적으로대응

디자인: 숙제 3
유연한 Message Protocol 핸들링

ticker := time.NewTicker(1 * time.Second)
defer ticker.Stop()
wg := sync.WaitGroup
loop := true
for loop {
select {
case <-ctx.Done():
loop = false
case <-ticker.C:
// Bulk Data에 index로 접근
// index 증가
wg.Add(1)
go func() {
defer wg.Done()
// Loader로 Data 적재
}()
}
}
wg.wait()
Loader로 Data 적재하는 코드
배경
▪ Data전송 빈도수 줄이기위해
IoT Things가 60초 동안 수집한
Data를Bulk Data로전송
▪ ElastiCache적재 시
Bulk Data를풀어서 순차적으로적재 필요
해결
▪ Ticker를이용하여 매초 Tick을받아서
Bulk Data에index로순차 접근
▪ Goroutine을이용해 1초 보장

디자인: 숙제 4
여러가지 변경 (추가, 수정) 에 유연하게 대응
(Topic, Message Protocol, Database)

RTVF Connector
Consumer
Handler
(Blackbox)
Loader
(DDB)
Handler
(Sensor)
Handler
(GPS)
Handler
(State)
Loader
(Redis)
Loader
(Kafka)
Handler, Loader 모듈화
▪ Topic 별 Handler구현
▪ Database별 Loader구현
▪ Topic 추가
→ 새로운 Handler구현
▪ MessageProtocol변경
→ 해당 Topic의Handler수정
▪ 새로운 Database추가
→ 해당 Database위한 Client를Loader에추가

RTVF Connector
Consumer
Handler
(Blackbox)
Loader
(DDB)
Handler
(Sensor)
Handler
(GPS)
Handler
(State)
Loader
(Redis)
Loader
(Kafka)
Handler, Loader 모듈화
▪ Topic 별 Handler구현
▪ Database별 Loader구현
▪ Topic 추가
→ 새로운 Handler구현
▪ MessageProtocol변경
→ 해당 Topic의Handler수정
▪ 새로운 Database추가
→ 해당 Database위한 Client를Loader에추가
“변경 사항이 있으면
매번 재배포 해야 되나요?”

MSK
DynamoDB
ElastiCache
GPS → ElastiCache
GPS → DynamoDB
State → ElastiCache
State → DynamoDB
Architecture 개선
▪ 인프라 적 병렬 접근 방법
▪ 컨테이너화된Connector에
CommandLine Flags로Topic,Database지정 가능
▪ Topic, Database별 Connector배포
▪ 예) GPS Topic에수정/배포할때에도
다른 Connector에영향주지 않게 개선

전반적인 환경 구성

성능 분석
이렇게 만든 RTVF Connector는 잘 작동하고 있을까요?

🎄 IoT Core Message 유입량
레거시 서버 🤝 RTVF CONNECTOR
피크 타임

🎄 CPU 사용량 비교
레거시 서버: 최대 14 Core 사용
RTVF Connector: 최대 2 Core 사용

🎄 Memory 사용량 비교
레거시 서버: 최대 5.8GiB 사용
RTVF Connector: 최대 1.8GiB 사용

마무리

SOCAR 🤝 AWS

IoT 데이터 파이프라인 (과거)
예전에는 그랬지…
Service A
Service C
Service B
Analytics Tool
타 클라우드 플랫폼
Aurora MySQL
IoT Device API Server

IoT 데이터 파이프라인 (현재)
큰 그림의 완성
Service A
Service C
Service B
Aurora MySQL
IoT Device IoT Core
S3
MSK
Redshift
DynamoDB
ElastiCache
RTVF Connector

감사합니다

AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지

Similaire à AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지 (20)

Plus de Amazon Web Services Korea

Plus de Amazon Web Services Korea (20)

AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지