How to build your own robot with ibm bluemix&watson

1. Build Your Own Robot
-with IBM Bluemix & Watson
Tommy Wu(tommywu@tw.ibm.com)
Cloud Solution Architect
Dec, 2015
© 2015 International Business Machines Corporation

2. 商用服務機器人商機 – 創意+應用

3. 一切要從 Humix
開始說起.

4. Human 。 Bluemix

5. An open-source robot framework based on
Bluemix, IoT foundation and Watson Artificial Intelligence

6. It all starts from a hackathon …

7. after 8 hours coding session,
First generation of Humix was born
Listens
IRC communication
Feels
the sentiment of discussion
Says
basic Chinese

8. Temperature Sensor
Humidity Sensor
Light Sensor
Programmable LED (NeoPixel)
Text to Speech API
NoIR Camera
NFC Sensor
Watson Sentiment API
Translation API
Alchemy Face Detection API
Speech to Text API
Speaker / Mic
Humix

9. 如果Humix 能
變小並且能走動 ?
Alice’Toy ? ^.^

10. 功能清單及應用想像情境
• 基本功能： 能走路(前進/後退/左、右轉)，會揮手 、轉頭，扭腰、
• IOT 應用-透過應用程式操控機器人行動：
 Web 應用程式- 網頁操控
 手機App - 行動裝置操控
 語音操作 – 中/英文語音命令操控
 藍牙應用 – PS3 or Wii 搖桿操控
• 眼睛/視覺應用：
 能辨識物體
 能判斷性別、年紀
 能觀看紀錄眼前影像(串流) 紀錄
 眼睛依據情緒而變化
• 語音/聽覺應用：
 聽懂中、英文/講中、英文
• IT 應用：
 Web聊天，判斷語意變化表情
 判斷應用系統狀態，前進至定位並語音回報-
 Beacon應用 – 能進行室內定位，回報經過地點及時間
• 資料分析應用：
 天氣預報服務 (英文語音)
 DashDB / R語言 分析應用(股票曲線/異常預測)
• 其他更多應用：… 串流識別、循跡移動、音樂故事、…….

11. 這..基於審美的考量，我想… 就是它了 Robot
來源: 圖片

12. Rapiro is a cute, affordable, and easy to assemble
humanoid robot kit. Comes with 12 servo motors and
an Arduino compatible controller board. Designed for
Raspberry Pi. Its limitless possibilities all depend on
you.
來源:http://www.rapiro.com/
Programmable
Customizable
粉絲頁：https://www.facebook.com/project.rapiro

13. 接下來 Bluemix+Watson
就是重點.

14. Bluemix 是一個基於雲的開放PaaS 標準平臺，用於構建、管理和運行各種
類型的應用程式（Web、行動化、BIG Data、IOT ,Watson 等等）。
在幾秒內上線
開發人員可以選擇任何語言的運
行時，或引入他們自己的運行時。
從零到生產只需一個命令。
開發運營 (DevOps)
開發、監控、部署和日誌工具，
讓開發人員可以運行整個應用
程式。
API 和服務
IBM、協力廠商和開源 API 服務的
目錄，讓開發人員在幾分鐘內就能
夠組合出一個應用程式。
內部部署集成
構建混合環境。連接到內部部署資
產及其他公共和私有雲。
靈活的定價
在幾分鐘內完成註冊。按需付費，
訂閱模式提供選擇和靈活性。
分層安全防護
IBM 保障平臺和基礎架構的安全
性，並為您提供保護應用程式所需
的工具。
What is BlueMix?

15. 15
Cloud Foundry 開放雲應用平台 - 多平台支持
避免
被鎖定

16. 開發人員為什麼使用 Bluemix？
在幾分鐘內實現從無到運行程
式碼。
自動化許多應用程式的開發和交付。
為了以更低的成本迅速
將產品和服務推出市場
為了持續交付新的功能給他
們的應用程式
為了擴展對 IT 基礎架構
的現有投資
通過安全地連接到內部部署基礎架構，擴展
現有投資。

17. What is Watson?
© 2015 International Business Machines Corporation

18. © 2014 International Business Machines Corporation

19. 19
使用 Bluemix 服務建立機器人控制系統
安全服
務
Web 與
應用服
務
雲整合
服務
行動服
務
• 可選擇使用各種運行環境，服務或
工具
選擇
領先行業的 IBM 能力
• 利用深厚IBM軟體實力提供服務
• 全方位的能力
完整性
• 開放的平臺與服務
• 協力廠商提供服務的關鍵用例
資料庫服務
大資料服務
Watson 服
務
DevOp
s 服務
廣泛的能力合適任何偉大創意 物聯網
服務

20. 強大的 Watson 人工智慧做為機器人的後盾

21. •基於 V8 JavaScript 引擎 (With JIT)
•可獨立運作 (無需瀏覽器)
•Event-driven
•Non-blocking I/O model
•支援數千以上 Concurrent 連線
•Minimal Overhead (CPU/Memory) on a single
process
•Extending with C/C++
•Support Multi-core Systems
node.js 為主要開發語言

22. 機器人腦神經開發- Service Mashup
神
經
細
胞
-
各
種
服
務
節
點
內
視
鏡
檢
視
-
查
看
各
種
訊
息
腦神經區域(Workspace)

23. • Node.js
• Interrupt-based IO
• Minimal Resource Usage
• https://github.com/watson-
developer-cloud/rpi-time-
weather-demo
Raspberry pi + Text to Speech
有了豐富的範例，一切好談

24. Watson 影像物件辨識範例
What is it?
Understand the contents of images. Trainable for
custom content.
How does it work?
Visual Recognition allows users to understand the
contents of an image or video frame, answering the
question: “What is in this image?” Submit an image,
and the service returns scores for relevant classifiers
representing things such as objects, events and
settings.
Use Cases-
You can organize image libraries, understand an
individual image.
 Train the robot to know image sense
Doors Security & Web Cam Application
Demo : http://vision.alchemy.ai/

25. Watson AlchemyVision – 人臉辨識技術
Image Link Extraction - Given any URL, the Image Link Extraction API will scan the designated page
to find the most prominent image and directly retrieve the URL for that image. It can then be
appropriately classified and tagged.
Image Tagging - With AlchemyVision’s image tagging API, you can quickly categorize and organize
image libraries at a massive scale.
Face Detection/Recognition - When provided an image file or URL, the AlchemyVision Face
Detection and Recognition API returns the position, age, gender, and, in the case of celebrities, the
identities of the people in the photo.
© 2015 International Business Machines Corporation

26. 機器人聊天語意分析 – Watson AlchemyLanguage
Node-Red開發聊天室
透過聊天室與它互動

27. 以物聯網服務
積木式組裝.

28. Loosely-coupled architecture with IoT Foundation

29. IBM Design for Internet of Things Cloud
Device Registration & Connectivity
Connectivity | Awareness | Security & Privacy | Asset mgmt
Integration
Mobile | Cloud | Enterprise
Data services
Historian | Cache | Search
Managed APIs
Share | Monetize
Real-time Big Data Analytics
Data Analytics | Event Analytics | Streaming
Applications
Runtime | Services
Accelerators
IBM Internet of Things Cloud
Partners Customers
Developers
Employees
More Things
API
API API
API
API

30. Hundreds of SensorsThousands of API/Services
MeetsWhen

31. Program the brain is just as easy as
Drog-n-Drop

32. 應用系統(IOT)組合範例：溫度/股價警示
Buy Stock
擷取欄位
存入資料庫
除錯顯示
判定條件
價格< 38
價格> 38
發送警示
Buy Stock
即時訊息串流

33. 最終成果
2天後智能機器人誕生

34. 身體控制:Arduino
大腦控制:RPi
Bluemix 雲端智能機器人 – 組成架構
主控台
使用服務：
1、Watson : 中文語音
辨識、影像辨識、分析、
語意分析
2、Cloudant DB、IOT、
NodeRed、dashDB、
腦神經

36. Arduino身體動作程式碼編輯

37. Bluemix 雲端智能機器人 – 系統架構
RAPIRO 開發
• 開發語言：
Node.JS,Python,HTML5,C
• 開發平台：
Bluemix DevOps, Node-
Red,Orion,Arduino IDE
• 開發應用：
 Web應用 – Node-Red
 手機應用 - Mobile First
 語音應用 - Node-RED
 藍牙應用 - Python
 Beacon應用 – Presence
Insight
• 開發架構：
 小腦：Raspberry Pi
RAM:512MB-16GB SD
Card
 大腦：IBM Bluemix
 外觀：3D 列印 (KickStarter)
 身體：Arduino 控制板
12顆伺服馬達 (KickStarter)
思考流程：
中文語音辨識-Watson
邏輯判斷-Node-Red, IOT
Foundation
中/英文語音回應-Google/Watson
語意分析 – Watson Sentiment
身體行動 – Node.JS+Python
身體行動 (Arduino)：
雙手可緊握
手臂可揮舞
雙腳可走路
視覺/表情 (Camera)：
影像串流 -Node.JS
影像識別 –Watson Tag
人臉辨識 –Watson Face
氣象播報 - Watson Weather
眼睛表情(LED Matrix) -Python
數據存儲 – Cloudant
數據分析 – DashDB / R Script
高感度麥克風
外接喇叭
藍芽模組
序列埠溝通
Beacon 裝置
室內定位

38. What is YOUR recipe ?

39. 還有一些困難需要克服
• 電壓、電流穩定性 ( 9V or 12 V ? 10A ?)
• 語音連續性模式+串流 (Local連續串流直到keyword found ?)
• 收音的品質 (更高級的麥克風? Or 指向性 ?)
• 電池重量及續航力 ( 18650 鋰電?)
• 喇叭需要剖腦充電 (直接拉二個單體接電至power ?)
• 眼睛(LED Matrix) 無法固定 (卡筍製作?)
• 沒時間…. (找人合作開發?)

40. 下一步是 :
變型金剛？服務機器人？
請給我你的創意！

41. Thank You !
Any Question ?