IoT 데이터에 대한 상호작용 및 Machine Learning Inference(기계학습추론) 등, AWS Cloud의 다양한 서비스와 기능이 edge까지 확장되어 활용되고 있습니다. Edge에서 cloud로, 다시 cloud에서 edge로 연결되는 일련의 cycle을 통해서 더욱 효과적으로 비즈니스 요구 사항을 충족할 수 있습니다. 이를 위한 필수적인 서비스인 AWS IoT Greengrass를 소개하고 전자 통신 산업 분야에서의 트랜드와 사례를 알아 봅니다. 손쉽게 IoT Greengrass를 배포하여 활용할 수 있고 edge에서의 Machine Learning Inference에 강력한 성능을 갖춘 LG전자의 AIoT board에 대해 소개하고, IoT Greengrass와 LG전자 AIoT board를 통합하여 구축한 사례를 살펴 봅니다.
2. Agenda
• IoT 기술 Trend
• FreeRTOS - edge에서 디바이스를 구축하고 Cloud에 연결
• AWS IoT Greengrass - Cloud의 서비스와 기능을 edge까지 확장
• LG 전자 AIoT board - On-Device 에서의 강력한 Inference
• LG AIoT board 활용 사례
• LG AIoT board와 AWS IoT Greengrass 통합 활용 사례
8. 어떻게 IoT 데이터에서 가치를 어떻게 추출합니까?
대규모의 장치를 제어, 관리 및 보호하려면
어떻게 해야합니까?
장치를 연결하고 edge에서 작동하려면
어떻게 해야합니까?
Analytics
Services
Connectivity
& Control
Services
Device
Software
17. FreeRTOS
15 년 이상, 신뢰할 수 있고 널리 배포됨
RISC-V 및 Arm v8-M을 포함한 40개
이상의 지원 아키텍처
광범위한 생태계 지원
무료 및 오픈 소스
MIT 오픈 소스 라이선스
스트림 및 메시지 버퍼를 사용하여
향상된 프로세스 간 통신 (IPC) 기능 지원
18. Local Connectivity
Libraries
Cloud Connectivity
Libraries
Security Connectivity
Libraries
OTA &
Code Signing
FreeRTOS는 IoT endpoint를 지원합니다.
클라우드 연결없이 AWS IoT
Greengrass 디바이스와 통신
마이크로 컨트롤러 기반
장치에서 데이터를 쉽게
수집하고 조치를 취합니다
안전한 장치 데이터 및 연결 현장의 디바이스에 보안
업데이트, 버그 수정 및 펌웨어
업데이트 배포
FreeRTOS 커널 확장
19. MCU가 "지능형” 워크로드를 처리할 수 있습니까?
• MCU가 GHz 속도에 도달함
• NXP 는 Arm Techcon 2019에서 i.MXRT1170 를 발표
• 최대 1GHz의 clock 속도
• 머신 러닝 프레임 워크는 MCU 클래스 장치를 대상으로 합니다
• Keyword spotting/wake word detection
• TinyML
• Tensorflow Lite
➔ MCU는 점점 더 복잡 해지는 워크로드를 처리 할 수 있습니다
20. FreeRTOS에서 secure
elements 사용
Secure Element를 사용하면 암호화
키의 변조 방지가 가능합니다.
개방형 표준 PKCS#11 인터페이스를
사용하여 호환성 극대화
고객의 물리적 위치에서 떨어진
위치에 디바이스를 설치할 수
있습니다.
마이크로 컨트롤러에서 암호화
기능을 오프로드하여 메모리 공간을
확보하고 전력 소비를 줄입니다.
21. MCU Hardware
Secure Element를 사용하지 않을 경우
Partner Supplied Libraries and Drivers (IDF)
Amazon FreeRTOS internal
libraries
Transport Layer Security (TLS) library
FreeRTOS
kernel
User (Application) Code
22. 암호화를 위하여 secure element 사용
Partner Supplied Libraries
and Drivers (IDF)
Amazon
FreeRTOS
internal
libraries
Transport Layer
Security (TLS) library
FreeRTOS
kernel
User (Application) Code
Partner Supplied
PKCS #11 Module
Amazon FreeRTOS
PKCS #11 API
Secure Element
Hardware
Cryptographic
functions
MCU Hardware
Secure Element Hardware
Secure Storage
26. Data and
state sync Security
Over the
air updatesConnectors
장치를
오프라인으로
작동 & 다시
연결할 때
데이터 동기화
Local
actions
AWS
Lambda로
device
프로그래밍
간소화
상호 인증 &
cloud와 장치 간
인증
AWS IoT
Greengrass
Core를 쉽게
업데이트
Machine
learning
inference
로컬에서
ML 추론
Local
resource
access
AWS Lambda
함수는 주어진
장치의 로컬
리소스에 액세스
할 수 있고 &
사용 가능
외부 서비스에
연결하여 edge
장치를 확장
Local
messages
and triggers
cloud 연결없이
장치 통신 가능
AWS Secrets
Manager
edge devices
에 보안 자격
증명 배포
AWS IoT Greengrass는 AWS IoT를 edge로 확장
27. Cloud 연결없이 로컬 네트워크의 디바이스 간에 메시징을 활성화
AWS IoT MQTT 게시 / 구독 메시징
패러다임을 로컬에서 edge로 확장
Cloud에서 작성되고 AWS IoT
Greengrass core에 로컬로 배포된 AWS
Lambda 함수가 이벤트를 트리거하고
응답하도록 허용
AWS IoT Greengrass core 및 AWS IoT
device SDK를 사용하는 기타
디바이스에서 오프라인 명령 및 제어
작업을 활성화
로컬 메시지 및 트리거
28. Lambda 함수가 디바이스의 로컬
리소스에 액세스하도록 허용
GPIO에 액세스하여 센서 및
액추에이터 데이터를 처리
Lambda 함수는 운영 체제의 로컬
파일 시스템을 활용할 수 있음
Lambda 함수는 기계 학습을 위한
하드웨어 가속을 위해 GPU를 사용할
수 있음
Local resource 접근
GPU
AWS Lambda는 지정된 디바이스의 로컬 리소스에 액세스하고 사용할 수 있음
29. Amazon SageMaker 또는 EC2를
사용하는 다른 서비스를 사용하여
클라우드에서 모델 학습
ML 추론은 Apache MXNet 및
TensorFlow와 함께 동작
훈련된 모델을 device로 전송하고
데이터를 클라우드로 다시 전송하여
모델 정확도를 향상
Amazon SageMaker와의 통합은
model runtime footprint 를100 배
줄이고 추론 성능을 2 배 향상
Machine Learning 추론
데이터 전송 비용이나 지연 시간 증가없이 로컬에서 ML 추론 수행
30. AWS IoT
Core
데이터 전송 및 라우팅
Amazon
SageMaker
AWS IoT
Analytics
데이터 집계
Enrichment
Cleansing
시계열 데이터 처리
Model Config
Model 생성
최적화
재교육
로컬 리소스를 통한 데이터 수집 및 로컬 작업
ML Model 추론
AWS IoT
Greengrass
Local
Resources
1 2
34
Machine
Learning
Inference
로컬에서 ML
inference
수행
Local
Resource
Access
AWS Lambda
함수는 지정된
디바이스의
로컬 리소스에
액세스하고
사용할 수
있습니다
Greengrass를 활용한 학습과 추론
Cloud에서 Training하고 edge에서 inference (그리고 반복)
31. AWS IoT Greengrass Core Software
AWS IoT Greengrass는 하드웨어가
아닌 소프트웨어입니다
함께 작동하는 구성 요소:
• AWS IoT Greengrass core
• IoT Greengrass Core SDK
• IoT Device SDK
32. AWS IoT Greengrass Core (GGC)
Lambda 실행, 메시징, 디바이스
섀도우, 보안을 담당하고 cloud와
직접 상호 작용하는 런타임
42. Amazon SageMaker Neo로 모델 최적화
• framework 크기를 10분의 1로 감소
• 모델과 프레임 워크가 단일 실행
파일로 컴파일됩니다
• Intel, Nvidia, ARM, Cadence,
Qualcomm 및 Xilinx 프로세서
아키텍처에 맞게 모델을 자동으로
최적화
• Open source:
https://github.com/neo-ai/
43. AWS IoT Greengrass를 사용하여 edge에서 추론 실행
Amazon SageMaker
AWS IoT Greengrass
Inference
Lambda Training mediaLabeled
training media
Image
classification
model
Neo-
optimized
model
Video
Stream
NVIDIA
JETSON
NANO
GPU
Model download
AWS CloudSmart IoT Device
Neo
45. AWS Partner Device Catalog
340+
Qualified IoT
devices in the Partner
Device Catalog.
https://devices.amazonaws.com/
기본적으로 AWS와 함께 사용할 수 있는 검증된 파트너 하드웨어 및 디바이스를 검색하십시오.
49. AIoT Solution for On-Device Application
Vision
Intelligence
Voice
Intelligence
Sensing
Intelligence
Understanding,
Thinking & Evolving
AI + IoT
50. 다양한 뉴럴 네트워크를 획기적인 성능으로 처리하는 인공지능 전용 프로세서
- Convolution accelerator (CONV)
- Activation operator (RELU)
- Channel size converter (POOL)
- Normalization accelerator (NORM)
▪ 딥러닝 전용 명령어 구현
▪ Flexible Architecture
- 단일 코어 당 독립적으로 뉴럴
네트워크 처리 가능
- 어플리케이션 복잡도에 따라
코어수 변경 가능
LG 뉴럴엔진
TILE ....
....
TILE
TILE
....
....
▪ Scalability▪ Convolution 병렬 처리 가속
- 딥러닝 전용 Instruction 기반으로
Programmable
- 네트워크 업데이트 가능
51. Type Name Input Resolution FPS
BW
(MB/frame)
Power
(mW,
avg power/frame)
Classification
googLeNet 224x224x3 64.62 62.52 910.06
MobileNet 224x224x3 116.69 46.41 849.53
ResNet-50 224x224x3 20.43 250.67 894.61
VGG16 224x224x3 7.33 593.00 982.74
Object Detection Tiny Yolo 448x448x3 41.77 128.01 849.44
LG 뉴럴엔진
보드에서 FIX 16bit 모드로 실제 측정한 수치
52. 주변 상황을 이해하려면
똑똑한 두뇌와 함께 어떤 역할들이 필요할까?
Senses
Smell
Touch Sight Taste
Hearing
53. Vision Intelligence
- 광각 렌즈 왜곡 보정 (Image Warp)
- 색상 정보와 Edge 정보를 보존하며
노이즈 제거 (Bayer & Y/CNR)
OFF ON
OFF ON
카메라 입력의 한계를 실시간으로 보완하여, 인식/판단 성능을 개선
- 주변 빛 환경에 적응적으로 선명한 영상 획득
: 저조도 환경
: HDR 적용으로 빛 번짐 없는 영상
OFF ON
OFF ON
54. Vision Intelligence
- 모션 Blur 없는 실시간 영상 처리
움직임 정보를 함께 활용하여 상황을 인식
Apple
사과
보관
OFF ON
30ms 이하 고속 움직임 실시간 인식
- 실시간으로 고밀도, 고정밀 움직임 판단
IN OUT
55. 다중채널 Mic, 음성 전용 DSP 활용한 마이크 입력 전처리 및 Machine Learning 기반 잡음 제거로 인식률
향상
8 / 10
Voice Intelligence
ADC 전용 DSP
4 Mic
Voice
Activity
Detection
LG 뉴럴엔진 CPU
- 모터 소음 제거
- 적응형 음원 분리
- 빔 포밍
- Barge-in
▪ 마이크 입력 전처리
음성 전처리 / 기동어 인식 잡음 필터 자연어 인식
- 기기별 소음 특성 학습
기반
- 서버급 성능의 EC/NR
▪ ML 잡음 처리
- 단일/복합 발화
- 직접/간접 화법
- 대화형 인터페이스
▪ 클라우드 기반 인식
- 저전력 기동어 인식
▪ On-Device 인식
56. Barge-In 기능으로 인식률 개선, 파워 분리를 통해 최소 전력으로 음성 대기모드 운영이 가능
Voice Intelligence
Barge-In
Hi LG Voice
Voice
Reference
VAD
Music ♬
Buffer
Buffer
Hi LG
Music ♬
Speaker
Echo Path
+
음성 전처리
-
+ 기동어
인식기
Hi LGMusic ♬
57. 다양한 종류의 아날로그 신호, 센서 입력 등으로부터 얻은 데이터를 활용한 딥러닝 연산
영상/음성/센서 데이터 퓨젼하여
Multi-modal 인식 가능
Sensor IF
I2S
PDM
Parallel
Camera
I/F
MIPI CSI-2
4-lane
Peripherals
UART
I2C
SPI
PWM
SDIO
USB2.0
GPIO
Sensing Intelligence
가속도 센서가스+압력센서가스 센서
모션 센서 가스 센서 모션 센서
각도 센서 습도 센서 모션 센서
LG 뉴럴엔진
58. Technical Specifications
Neural Engine Inferencing Engine, Training Engine
CPU ARM Quad-core Cortex-A53
Vision
Vision DSP
Vision Engine (Feature Extraction, Dense Optical Flow, Warp/Scaler)
Audio
Audio DSP + VFPU
PDM / ADC / PCM Class D Amplifier
Memory 1GB 32-bit DDR3
Storage 8GB eMMC
Video Encode 1080p @ 30 (H.264)
Connectivity
WIFI 802.11 b/g/n Dual Band (2.4GHz/5GHz)
USB2.0 (Hos/Device), SPI, UART, I2C, PWM
Camera MIPI CSI-2
LG AIoT Developer Kit
59. Application
LG AIoT Developer Kit
Core
Component
Services
Manager
Computing
Platform
Kernel / Driver
videoService
Camera Service
Streaming Service
ConnectService
Gateway controller
IoT Protocols
voiceService
Voice Trigger
Voice Recognition
tvService
Web Service
Connectivity
LG Home gateway
OCF, WiFi,
BLE, …
videoEncode SecurityCamera Vision Inference Audio WiFi
Vision Intelligence
얼굴인식 제스쳐인식
사물인식 …
Voice Intelligence
기동어
인식
음성인식
알고리즘
Firmware
Framework
스마트 홈
ThinQ.AI
스마트 빌딩 스마트 팩토리 스마트 카 스마트 시티
AWS Greengrass
61. LGE Internal Use Only
Real-Time Preprocessing
for Vision Intelligence:
ISP and Vision Engine
On-Device Inference
and Training Engine
On-Device AI SoC
LG’s AI SoC provides the cost effective
on-device machine learning (ML) solution of
vision, voice/audio and control intelligence.
Intelligent Detection
of Physical/Chemical
Environment
Meta Data for Privacy
Low Light Enhancement On-Device Vision Engine
Driver Status Monitoring
Innovative Voice and
Audio Recognition:
Dedicated Audio DSP
Automotive Application
Gesture Recognition
Extreme Low Light
(1/4’’ sensor camera, 10 lux)
Enhanced by On-device ISP
only for internal processing only images can be captured by hacking
`20년 CES
62. LG ThinQ Home @ IFA 2020
Zero Energy, Zero Effort, Zero Stress
63. 환기 시스템
시스템 보일러
냉난방 시스템
Grid
가정용 ESS
(PCS 포함)
태양광
(PV, BIPV)
EV 충전기
세탁기 건조기
냉장고
공청기
CCTV, 현관벨/도어락, 스마트월
조명/모션센서
조명스위치
스마트 매립
매립콘센트
전력센서 (태양광 AC, AC 고전력
측정)
TV 및 모니터
LG ThinQ
Home Cloud
LG ThinQ Home @ IFA 2020
Zero Energy, Zero Effort, Zero Stress
데이터 기반 인공지능,
음성비서, 에너지관리,
스마트 홈 서비스
• 스마트 가전 제품군
• HVAC 제품군
스마트 홈 기타 제품군
• 친환경 에너지 제품군
AC/DC
스마트
분전반
복합센서
(온습도, CO2, 미세먼지 등)
카메라 및
음성 처리 센서
스마트미러
(LG ThinQ 홈 컨시어지)
ThinQ Home 게이트웨이룸
에어컨
전동 커튼, 신발 살균기, IoT 센서들, 기타
청소기
64. 환기 시스템
시스템 보일러
냉난방 시스템
Grid
가정용 ESS
(PCS 포함)
태양광
(PV, BIPV)
EV 충전기
세탁기 건조기
냉장고
공청기
CCTV, 현관벨/도어락, 스마트월
조명/모션센서
조명스위치
스마트 매립
매립콘센트
전력센서 (태양광 AC, AC 고전력
측정)
TV 및 모니터
LG ThinQ
Home Cloud
LG ThinQ Home @ IFA 2020
Zero Energy, Zero Effort, Zero Stress
• 스마트 가전 제품군
• HVAC 제품군
스마트 홈 기타 제품군
• 친환경 에너지 제품군
AC/DC
스마트
분전반
복합센서
(온습도, CO2, 미세먼지 등)
카메라 및
음성 처리 센서
스마트미러
(LG ThinQ 홈 컨시어지)
ThinQ Home 게이트웨이룸
에어컨
전동 커튼, 신발 살균기, IoT 센서들, 기타
청소기
AI 시스템
. 거주자 생활 패턴 기반 홈 관리 기능
. 재실자 위치 기반 편의 기능, 보안 기능
. 개인화 서비스 기능
음성 명령
. Task 기준 음성 명령, 시설 기기 제어
. 가족 호출 기능에 활용
기기간 연결
. LG ThinQ 홈 클라우드, LG ThinQ 홈 게이트웨이
. 타운/커뮤니티 관리실 연동
사용자 디스플레이
. 통합적 정보 표출 및 관리 접점 역할의 LG 홈 컨시어지 및 모바일 앱
. 편의/미디어 정보(날씨, 뉴스, 지도 등), 에너지(발전 및 소비 현황, 시설 상태)
. 홈 시설 및 가전 (상태 및 제어), 보안 관리, 개인 관리 기능 등
프라이버시 보호
. LG ThinQ 홈 클라우드 보안
. 정책적 사용자 데이터 보호/암호화