AI深度學習應用: 智慧POS機-人臉自動結帳(Face checkout)
•
6 j'aime•2,552 vues
!!!!!!!!本專題獲 HACKIDB智慧科技應用大賽」新製造應用獎!!!!!!!!!! http://ec.ltn.com.tw/article/breakingnews/2567118 專題成員: 陳文輝 (milochen), 李佳臻 (Emily), 溫婷雯(Winni), 莊禮維(Liwei) , 專題摘要: 目前超商零售業服務項目龐雜，服務人員工作負擔大，同時我們也看中無人商店將成為未來的趨勢，因此我們想要去設計一個會員自動結單的POS機。我們所設計的POS機，不僅包含POS機該有的元素，例如紅外線條碼讀取、商品資料庫查詢及交易系統外，更加入了會員人臉辨識的功能。在結帳時，透過POS機前方的鏡頭，會員資訊將自動被帶出，所以消費者可以不用現金，不用悠遊卡、也不用手機QR Code支付。 FACE CHECKOUT 系統的主控制板是使用 Raspberry Pi，它具有體積小、功耗低、 價格低等優點。我們使用 Raspberry Pi 的 USB 界面去連接條碼掃描機與 WebCam。 而對於 POS 機連網的功能，也是利用 Raspberry Pi 內建的乙太網路及 802.11n Wi-Fi 來完成，因此一旦會員結帳完成時，超商 LINE BOT 可即時推播訊息給會員。 在人臉辨識的部份，我們想要實現的是一個AI邊緣運算(Edge Computing)的概念。我們利用Intel 神經計算棒Neural Compute Stick(NCS)，讓Raspberry Pi，可以不用連接雲端也能夠直接在本機快速地進行Facenet人臉辨識的深度模型運算。 透過本次的專題實作中，我們更加認識物聯網、機器視覺、深度學習的技術與應用。 更多訊息: http://bit.ly/2MGsRXE
Recommandé
Contenu connexe
Plus de 艾鍗科技
Plus de 艾鍗科技 (20)
AI深度學習應用: 智慧POS機-人臉自動結帳(Face checkout)
- 1. AIOT培訓成果發表 陳O輝 李O臻 莊O維 溫O雯
- 9. 設計動機及概念 • 市場現況 • 觀察未來趨勢 • Smart Design 1. 無人商店 2. 現代人講求效率 方便 1. 自動驗證會員身分 2. 不用現金、信用卡支付 1. 超商、量販店服務人員工作負擔大 2. 市面 POS 機 只是 POS 機
- 12. 準備結帳 Milo
- 13. 掃描條碼
- 14. 人臉辨識
- 16. 結帳完成
- 18. POS系統實現方法 • AI邊緣運算不用連接雲端也能直接在POS本機運行 • 人臉辨識加上Security Key ->帶出會員卡資料 • LINE BOT 主動推播完成結帳通知提供消費依據 • 體積小 功耗低 價格低 • Linux OpenSource: MySQL、MQTT、Node.js… • 乙太網路及WiFi 載體選擇 Raspberry Pi:
- 22. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 23. Browser-Based UI Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 25. 軟體架構 Express +
- 27. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 28. Barcode Reader Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 29. Barcode Raw Data 處理 Raw Data型式 /dev/hidraw 7501054530107 EAN13 Barcode Python
- 30. Barcode 及商品資訊顯示在Browser 7501054530107 EAN13 Barcode Express Socket.io Core Browser-Based UI POS Transaction DataBase Product Name Product Price
- 31. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 32. POS Transaction DataBase Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 33. 完成結帳時更新資料庫 完成結帳 訂單 訂單明細 會員卡$ 庫存 Update POS Transaction DataBase
- 34. DataBase Schema EER Diagram
- 35. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 36. Member Face Recognition Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 37. Edge Computing • 分散式運算的架構，將應用程式、數據資料與服務的運算， 由網路中心節點，移往網路邏輯上的邊緣節點來處理。 • 由於邊緣節點更接近於用戶終端裝置，可加快資料的處理與 傳送速度，減少延遲。 根據 TrendForce 預估 2018 至 2022 年全球邊緣運 算相關市場規模的年複合成長 率將超過 30%
- 38. Myriad 2 by Movidius • Movidius ：最初的 VPU （Vision Processing Unit）（Myriad 1& Myriad 2）製造商 • Myriad 2圖像處理晶片最初用於飛行器上：感測器輔助定位和避障 • 2017英特爾收購 Movidius ，並發布了U盤型計算棒運行神經網絡，其 處理內核就是Myriad 2 VPU
- 39. Intel® Movidius™ NCS • 將Intel® Movidius™視覺處理單元(VPU)整合在USB裝置上 • 這樣就可對數百萬種低功耗的嵌入式裝置提供視覺智能 • 例如監控攝影機、可用手勢控制的無人機、工業級機器視覺設備等 • 針對低功耗應用所設計適合嵌入式系統 e.g. Raspberry Pi • 可直接自裝置上執行即時的深度神經網路，讓 AI 應用能夠離線部署 支持開發與部署NCSDK開發套件
- 41. FaceNet 介紹GOOGLE 概念 辨識方法 • 端對端學習 • 主要用於驗證人臉是否 為同一個人，通過人臉 識別這個人是誰 • 把人臉圖像映射到一個歐幾里得多維空 間 (對比傳統：softmax) • 通過空間距離表示人臉的相似度。 • 同個人臉圖像的空間距離比較小，不同 人臉圖像的空間距離比較大
- 43. POS 系統人臉辨識流程 Inferences Test data Neural Compute Stick “Milo” Milo : 0.4 Liwei :0.8 Mike :1.0 Emily :1.5 Winni :2.1 Intel® Movidius Load a pre-trained CNN model Into NCS
- 44. 軟體架構 Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 45. Line IM Push Barcode Reader Member Face Recognition Browser-Based UI Line IM Push POS Transaction DataBase FACE CHECKOUT Core
- 46. 完成結帳Line推播明細 Line Channel User Mobile System Line ID 卡片餘額 結帳商品 Member Account Product Core Line IM Push
- 47. User Web-based Monitor FACE CHECKOUT 技術統整 Checkout WebSocket Python WebCam Face Recognition Raspberry Pi 3
- 50. 更強大的POS系統 Web API PC browser/ Mobile App Register Account 完善後台管理系統 連結雲端平台 對話機器人
- 51. 謝謝聆聽
Notes de l'éditeur
- 我們的POS系統的主要載體是Raspberry Pi 3，除了體積小、功耗低、價格低的優點以外，更重要的是它是一個嵌入式Linux系統，Pi在硬體上擁有USB 2.0可連接條碼掃描機，Pi也具備乙太網路及Wi-Fi 802.11n讓我們在結帳時，用Line即時推播訊息給會員。在人臉辨識的部份，我們想要實現的是一個AI邊緣運算(Edge Computing)的概念。我們利用Intel 神經計算棒Neural Compute Stick(NCS)，讓Raspberry Pi，可以不用連接雲端也能夠直接在本機快速地進行Facenet人臉辨識的深度模型運算。
- 人工智慧的主流運算方式之一，相較於雲端運算，邊緣運算讓裝置有AI能力，特別適合需要「即時運算」的情境
- Movidius ： 一家發跡於都柏林、專精於低功率視覺處理晶片的高科技公司 這些飛行器均裝備了大量感應器以輔助定位和避障功能，所有的感測資料只要透過一顆 Myriad 2 VPU便足以運算處理。
- 與其他的深度學習方法在人臉上的應用不同，沒有用傳統的softmax的方式去進行分類學習，然後抽取其中某一層作為特徵，而是直接進行端對端學習一個從圖像到歐式空間的編碼方法，然後基於這個編碼再做人臉識別。 Facenet一樣利用 CNN 來提取人臉特徵向量，但最後的輸出層不再是Softmax，而是將影像對應到一個歐幾里得空間。 FaceNet直接使用基於triplets的LMNN（最大邊界近鄰分類）的loss函數訓練神經網路，網路直接輸出為128維度的向量空間。同一個人的不同圖像在空間距離較短，而不同人的圖像在空間中距離較長。因此，空間距離的長度即代表了人臉的相似度
- 與其他的深度學習方法在人臉上的應用不同，沒有用傳統的softmax的方式去進行分類學習，然後抽取其中某一層作為特徵，而是直接進行端對端學習一個從圖像到歐式空間的編碼方法，然後基於這個編碼再做人臉識別。 Facenet一樣利用 CNN 來提取人臉特徵向量，但最後的輸出層不再是Softmax，而是將影像對應到一個歐幾里得空間。 FaceNet直接使用基於triplets的LMNN（最大邊界近鄰分類）的loss函數訓練神經網路，網路直接輸出為128維度的向量空間。同一個人的不同圖像在空間距離較短，而不同人的圖像在空間中距離較長。因此，空間距離的長度即代表了人臉的相似度