AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지

2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. SOCAR는 어떻게 2만대의 차량을 운영할까? : IoT Data의 수집부터 분석까지 조현수 Solutions Architect AWS 강명구 FMS Team, Team Lead SOCAR 안재홍 Operation Group, DevOps Engineer SOCAR

6. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. IoT 적용 가능 워크로드들 연결 및 자율 주행 차량으로 운송 혁신 효율적인 재고 관리와 창고 운영 제조 공정의 성능 및 생산성 향상 더 높은 효율성으로 더 건강한 농작물 재배 원격으로 환자 상태 및 웰빙 애플리케이션 모니터링 지속 가능 및 에너지 자원을 보다 효율적으로 관리 가정, 사무실 및 공장 현장의 안전 강화 가정, 건물 및 도시에서 보다 스마트한 제품 및 사용자 환경 구축

7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. IoT를 통한 비즈니스 성과 신규 서비스 및 비즈니스 모델 점점 좋아지는 제품 고객과의 관계 향상 효율성 증대 지능화된 의사결정 데이터 기반 정책 수익 증가 IoT 데이터로 비즈니스 성장 견인 운영 효율성 IoT 데이터로 운영 비용 감소

8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. IoT 솔루션의 복잡성 연결, 커뮤니케이션, 보안 온보딩, 프로비저닝, 관리 디바이스 & 센서 연결성 & 인프라 분석, 시각화, 조치 분석 & 통찰력 참여, 권한부여, 경험 어플리케이션 & 서비스 변화, 혁신 문화 변화 관리

12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 시장 선도 플레이어 성장 동력 규모의 경제 78% 국내 점유율 1위 카셰어링 플랫폼 시장점유율 브랜드 인지도 79% 업계 최고 브랜드 인지도 수익성 2022년 영업이익 흑자달성 112%+ 2012-2021 매출액 CAGR 매출 성장률 회원 수 1,300만 명 총 회원 수 기반 슈퍼앱 도약 기술력 30%+ 업계최고테크/엔지니어링 /데이터 전문 인력 비중 20,000여대 국내 최다 운영 차량 대수 차량 수 접근성 4,700+ 국내 최대 규모의 쏘카존 정비∙세차 파트너 500개+ 전국 네트워크 규모 최고 수준의 수익성을 갖춘 국내 1위 모빌리티 플랫폼

13. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 12년 간 국내 모빌리티 시장을 개척해온 “#1 모빌리티 DNA” 사업초기 단계 카셰어링성장 생태계구축 모빌리티플랫폼으로의전환 Inorganic Growth Organic Growth #1 모빌리티 밸류체인 확보 주차장 플랫폼 마이크로 모빌리티 플랫폼 라이드헤일링 “타다” 플릿 매니지먼트 시스템 자율주행 개발 차량 관리및 세차 모빌리티 관련 유일한 온∙오프라인 경쟁력 확보 쏘카설립 제주도내 카셰어링 서비스시작 주요도시로 확장 국내54개 주요도시로 확장 쏘카패스출시 VCNC인수 쏘카플랜출시 차케어인수 폴라리언트 합병 라이드플럭스 후속투자 자율주행 상업화 패스포트 출시 전략적투자자와 FMS운영 나인투원인수 라이드플럭스 후속투자 모두컴퍼니 인수 라이드플럭스 투자 2022 나인투원 투자 2011 2015 2020 2012 2018 2021 2013 2019 VCNC의 타다서비스 출시 코스피상장 모빌리티 DNA및 밸류체인을 확보한 유일한 플레이어

14. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 주행정보 누적주행거리1,765백만km 차량위치 쏘카존내정밀위치정보제공 속도및가속도 사고및긴급상황감지 엔진/배터리상태 원격차량점검및적절한조치 소모품교체 최적정비및교체시점결정 접근가능유저수 쏘카,모두의주차장,일레클등총1,300만명 앱접속위치 쏘카존확장및증차위치결정 선호차종 연령대별선호차종공급 선호지역및쏘카존 차량재배치및쿠폰발급 이용빈도 우수고객선별및혜택제공 국내 유일 차량 및 유저 양방향의 모든 운영 데이터를 수집 및 분석하여 서비스 고도화 달성 차량및이동데이터확보 (Quantity) 수요데이터확보 (Price) 차량제어및관리기술 (사고관련,정비) 서비스최적화기술 (마케팅) 차량 데이터 유저 데이터 직접 보유한 차량 및 유저 데이터 기반 운영 최적화

15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 매출 대당 매출 상승 가동률 극대화 다이나믹 가격 모델 예약 시간, 장소 및 실시간 수요 반영한 탄력 가격 적용 (차량당 공헌이익 2~5% 증가) 부름 서비스 확장 자체 탁송기사 플랫폼을 통해 고객이 원하는 지점까지 차량을 배송하여 추가 수요 대응 및 대당 매출 상승 예약 최적화 파편화된 예약 슬롯을 재배치하여 차량 가동률 극대화 선별적 쿠폰 발행 공헌이익 기여가 높은 잠재 고객을 선발하여 쿠폰 발행 실시간 데이터 기반 가격결정 및 공급으로 매출 극대화

16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 비용 차량 유지 / 관리 최적화 보험료 / 사고 비용 통제 세차 주기 최적화 세차 주기 최적화를 통해 최소 비용으로 차량 청결 유지 보험 사기 탐지 모델 (SIFT) 운전자 주행기록 분석 기반 보험 사기 자동 식별 (사고 관련 비용 5~6% 절감) 차량 유지·관리 플랫폼(URECA) 차량 부품 주문과 교체 프로세스를 자동화하여 유지비용 및 매출 손실 최소화 운전자 숙련도 식별 미숙련 운전자 자동 식별을 통해 가격 차등 책정 차량 유지관리 자동화 및 보험비 등 사고관련 비용 통제

17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 자체 종합차량관제시스템 (OKSTRA) 운용 • 차량들의 실시간 위치 및 동선 추적 기능을 통한 효율적인 차량 배치와 회수, 어뷰징 및 도난 방지 • Reverse engineering 기반 실시간 주유량, 엔진 오일, 타이어 상태 등 상세한 차량 status 데이터 모니터링 을 통해 차량 이슈 선제 대응, 효율적인 부품 교체주기 설정 및 안전한 자산관리 수행 • 2만대 규모 직영 차량에 대한 관제를 통해 데이터에 기반한 정확한 자산 현황 파악 및 각종 사업 운영 인사이트 도출 가능 • 도어 제어를 포함한 원격 차량 제어 기술과 차량 속도, 공회전 시간 등 차량 데이터 접근을 통해 빠르고 정확한 고객 대응 및 인력 비용 효율화

18. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 유류비 관리 안전운전및 교육 보험료절감 사고 탐지 및 모니터링 EV관제 배차 관리 유지보수 FMS 실시간 위치 동선 최적화 업무 자동화 알림 서비스 주행 데이터 Fleet Management System (FMS) 란? IoT 디바이스를 통해 수집 가능한 여러 차량 데이터들을 기반으로 차량을 관제하고, 운행 정보들을 분석하여 차량의 관리 및 운영을 효율화하는 차량 관제 플랫폼

19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 3만대 이상의 Fleet을 직접 운영하며 쌓아온 방대한 차량 데이터 • 무한책임을 가지고 실질적인 문제들을 직접 시행착오를 거쳐 해결해 온 경험 • AI 등 효과적인 차량 운용 플랫폼 구축을 통한 차별화된 기술력 1. 단순한 FMS 서비스 범주를 탈피하여 유의미한 2차 가공 분석 데이터 및 사업적 Insight 제공 2. 분석 결과들을 통한 ‘실질적인’ 운영 개선 및 비용 절감 효과 창출 미션 rawdata Analytics SOCARFMS Corevalue 역량 SOCAR FMS

23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 안재홍 (Ahn, Jaehong) SOCAR Operation Group DevOps Engineer ▪ Go 언어, Docker, Kubernetes ▪ VSCode + Vim ▪ h0n9 (github.com/h0n9) ▪ Cloud Secrets Manager ▪ Kistio (Kafka + Istio) ▪ Msg Lake

28. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. IoT 데이터 파이프라인 구성 - 소년기 👦 성장의 과정 타 클라우드플랫폼 AuroraMySQL IoTThing APIServerV2 IoTCore ServiceD ServiceE ServiceA ServiceB ServiceC

29. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 분석 - 기존 기존에는 어떠한 DATA를 어디에 저장하고 있었을까요? Car GPS Car State Car Blackbox Sensor … Real-time Historical UPDATE/INSERT INSERT AuroraMySQL 💣

30. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 힘겨워 하는 Aurora 😥 한계에 가까워지는 데이터베이스 • IoT Data 적재량 증가 • CPU, Memory, Disk 사용량 증가 • 빈번한 데이터 적재 누락 • 쓰기 지연 발생 • 타 서비스 영향 발생 데이터 안정성, 신뢰성 위협 💥

33. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 파이프라인 - 스트림 구성 요구사항 • 서비스, 분석 등을 위해 재사용 가능한 IoT 데이터 • 어떠한 종류의 데이터베이스에도 데이터 적재 • 쉬운 데이터 파이프라인 추가 & 변경 (빨대 꼽는 것처럼) ✔ Data Stream 구성 의사결정

37. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 데이터 스트림과 데이터베이스 사이의 연결 고리 C O N N E C T O R 필요 🔗 기존 여러 종류의 Connector ▪ Amazon MSK Connect ▪ Apache Kafka Connect ▪ Confluent Connector ▪ Etc. ⚠️ 직면한 한계 ▪ 가파른 러닝 커브 ▪ 유연한 확장성 필요 ▪ 종속성 최대한 배제 ▪ 커스텀 로직 처리 필요

40. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 마음가짐 RTVF CONNECTOR 톺아보기 "SIMPLE IS THE BEST" DIVIDE & CONQUER LIKE PLAYING WITH LEGO BLOCKS "JUST DO IT" "FAIL FAST, LEARN FASTER" BACK TO BASICS

41. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 우리가 풀어야 할 숙제들 RTVF CONNECTOR 톺아보기 1. 20,000 여대의 차량이 동시에 전송하는 데이터 핸들링 2. 어떠한 상황에서도 높은 성능 유지 3. 유연한 Message Protocol 핸들링 4. 여러가지 변경(추가, 수정)에 유연하게 대응 • Kafka Topic • Message Protocol • Database

45. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 디자인: 숙제 1 해결 (코드) Multi-Threading 적용 ▪ Message가들어오는대로 Handlerthread생성 ▪ 생성된Handler마다 Message를독립적으로처리 ▪ Message양에따라 자동으로Scale in, out가능 RTVF CONNECTOR 톺아보기 RTVF Connector Consumer Loader Handler Handler Handler Handler Handler

46. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 디자인: 숙제 1 해결 (코드) Multi-Threading 적용 ▪ Message가들어오는대로 Handlerthread 생성 ▪ 생성된Handler마다 Message를독립적으로처리 ▪ Message양에따라 자동으로Scale in, out가능 RTVF CONNECTOR 톺아보기 RTVF Connector Consumer Loader Handler Handler Handler Handler Handler “근데, 진짜 20,000개를 처리할 수 있나요?”

47. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. MSK RTVF Connector (replication) DynamoDB ElastiCache RTVF CONNECTOR 톺아보기 Infrastructure 개선 ▪ RTVF Connector를ScaleOut하여 물리적으로처리할 수 있는 한계 확장 ▪ KafkaConsumerGroup을이용한병렬처리 ▪ ConsumerGroup에서, 최대 Consumer수 = TopicPartition개수 디자인: 숙제 1 해결 (인프라)

49. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 디자인: 숙제 2 해결 (프로그래밍 언어) • Light,Parallel키워드 → Go언어 • Goroutine:Go Runtime에의해 관리되는경량화 된 LogicalThread ▪ WaitGroup으로쉽고안전하게 관리가능 ▪ 적은메모리사용 • Channel:Goroutine간의 통신을 위한 통로 • Build후 단일 Binary파일로 Artifact를생성하여 가벼운 ContainerImage 생성 RTVF CONNECTOR 톺아보기

50. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 디자인: 숙제 2 해결 (인프라) RTVF CONNECTOR 톺아보기 • Goroutine이가벼워도처리해야하는 messages 개수가물리적으로늘어나면한계 도달 • 쉽게 Scale Out,Scale Up-Down가능한 환경 필요 → Container,Kubernetes • Scale Out:Pod의Replication을 늘림 (ConsumerGroup에Consumer추가) • Scale Up: Pod에할당된Resource 증가 (RollingUpgrade로무중단서비스제공 가능) • 특정 이벤트(🎄)트래픽집중에 효과적으로대응

52. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 디자인: 숙제 3 해결 (코드) RTVF CONNECTOR 톺아보기 ticker := time.NewTicker(1 * time.Second) defer ticker.Stop() wg := sync.WaitGroup loop := true for loop { select { case <-ctx.Done(): loop = false case <-ticker.C: // Bulk Data에 index로 접근 // index 증가 wg.Add(1) go func() { defer wg.Done() // Loader로 Data 적재 }() } } wg.wait() Loader로 Data 적재하는 코드 배경 ▪ Data전송 빈도수 줄이기위해 IoT Things가 60초 동안 수집한 Data를Bulk Data로전송 ▪ ElastiCache적재 시 Bulk Data를풀어서 순차적으로적재 필요 해결 ▪ Ticker를이용하여 매초 Tick을받아서 Bulk Data에index로순차 접근 ▪ Goroutine을이용해 1초 보장

54. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 디자인: 숙제 4 해결 (코드) RTVF CONNECTOR 톺아보기 RTVF Connector Consumer Handler (Blackbox) Loader (DDB) Handler (Sensor) Handler (GPS) Handler (State) Loader (Redis) Loader (Kafka) Handler, Loader 모듈화 ▪ Topic 별 Handler구현 ▪ Database별 Loader구현 ▪ Topic 추가 → 새로운 Handler구현 ▪ MessageProtocol변경 → 해당 Topic의Handler수정 ▪ 새로운 Database추가 → 해당 Database위한 Client를Loader에추가

55. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 디자인: 숙제 4 해결 (코드) RTVF CONNECTOR 톺아보기 RTVF Connector Consumer Handler (Blackbox) Loader (DDB) Handler (Sensor) Handler (GPS) Handler (State) Loader (Redis) Loader (Kafka) Handler, Loader 모듈화 ▪ Topic 별 Handler구현 ▪ Database별 Loader구현 ▪ Topic 추가 → 새로운 Handler구현 ▪ MessageProtocol변경 → 해당 Topic의Handler수정 ▪ 새로운 Database추가 → 해당 Database위한 Client를Loader에추가 “변경 사항이 있으면 매번 재배포 해야 되나요?”

56. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 디자인: 숙제 4 해결 (인프라) RTVF CONNECTOR 톺아보기 MSK DynamoDB ElastiCache GPS → ElastiCache GPS → DynamoDB State → ElastiCache State → DynamoDB Architecture 개선 ▪ 인프라 적 병렬 접근 방법 ▪ 컨테이너화된Connector에 CommandLine Flags로Topic,Database지정 가능 ▪ Topic, Database별 Connector배포 ▪ 예) GPS Topic에수정/배포할때에도 다른 Connector에영향주지 않게 개선

65. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. IoT 데이터 파이프라인 (현재) 큰 그림의 완성 Service A Service C Service B Aurora MySQL IoT Device IoT Core S3 MSK Redshift DynamoDB ElastiCache RTVF Connector

AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지

AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지

Recommandé

Contenu connexe

Tendances

Tendances(20)

Similaire à AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지

Similaire à AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지(20)

Plus de Amazon Web Services Korea

Plus de Amazon Web Services Korea(20)

AWS Summit Seoul 2023 | SOCAR는 어떻게 2만대의 차량을 운영할까?: IoT Data의 수집부터 분석까지