ABEJA Cloud AI Night (2017/12/22)で発表した資料です。AWS DeepLensに関する技術的な所をざっくりと説明したものです。

1. 「Deep dive into DeepLens 」
ABEJA Cloud AI Night 2017/12/21
ABEJA Inc. Engineer
大田黒 紘之

2. 2
・1994年生まれ
・東京都立産業技術高等専門学校 医療福祉工学科
(2009-2014)
・公立大学法人 首都大学東京 都市教養学部・都市教
養学科 理工学系電気電子コース(2014-2015)
・ABEJA入社 (2015/09)
・小型人工衛星開発、光通信システム、医療機器、EIT
システム、理化学研究所非正規雇用（TPCチャンバー評
価、放射線の三次元飛跡の可視化、中性子CTスキャンシ
ステムの画像処理….)、多様体上におけるNS方程式….
自己紹介
2

3. 3
・1994年生まれ
・東京都立産業技術高等専門学校 医療福祉工学科
(2009-2014)
・公立大学法人 首都大学東京 都市教養学部・都市教
養学科 理工学系電気電子コース(2014-2015)
・ABEJA入社 (2015/09)
自己紹介
IoTデバイス〜DLを活用した映像解析まで幅広く開発してます！

4. <趣味>
クラウド・AIをフル活用したIoT工作
https://qiita.com/xecus/items/b7350111024b5fc2d9ae

5. ReInvent @ LasVegas にいってきました！

8. 今日はAWS DeepLensに着目した話をします！

9. DeepLens Workshopに無事当選！！

10. そもそもDeepLensとは・・・？

11. AWS 「世界初のディープラーニングに対応した開発者向けビデオカメラ」
https://aws.amazon.com/jp/deeplens/

12. 2018年4月より販売予定。実は激レアのDeepLens
(現状、国内だと数台〜１０数台ぐらいしかないのでは..)
https://www.amazon.com/dp/B075Y3CK37

14. 中身に何がはいっているのか？

15. ≒Atomプロセッサーの入った普通のパソコン
https://aws.amazon.com/jp/deeplens/

16. DeepLens関連サービス
「AWS Greengrass」
16
AWS Lambdaと同じプログラミングモデルでデバイスを制御できる
(Lambdaを書く感覚でデバイス側でコードが動かせる)
https://aws.amazon.com/jp/greengrass/

17. DeepLensのシステム的な仕組み
AWS Greengrass SDK + Webカメラ
+ GPU ≒ DeepLens
https://thenewstack.io/deep-dive-amazon-deeplens/

18. どう開発して、どう動かすのか

19. DeepLensを使った開発
①MXNet・Tensorflow等のライブラリを活用しつつ、DLのモデルを生成する
②Intelより配布されているDeploymentToolKitでモデルのデバイス最適化をする
https://aws.amazon.com/jp/blogs/news/aws-deeplens-extensions-build-your-own-project/

20. DeepLensを使ったデプロイフロー
①デバイスの登録 ②Lambda Functionを登録
③DeepLens Consoleからデプロイボタンを押す
→Greengrass経由でDeepLens上でLambda Functionが動く
https://aws.amazon.com/jp/blogs/news/aws-deeplens-extensions-build-your-own-project/

21. DeepLensとAWS関連システムとの連携
・Greengrass上からKinesis Video Streamに動画転送
・MQTTでメッセージの送信 (例：○○を検出)
https://aws.amazon.com/jp/blogs/news/aws-deeplens-extensions-build-your-own-project/

22. 実際に動かしてみた

23. デバイス登録 @ AWS DeepLens
23

24. ロール生成 @ AWS DeepLens

25. 証明書生成 @ AWS DeepLens

26. デバイス設定 @ AWS DeepLens
デバイスが利用するネットワーク設定と前ステップで生成した証明書を
アップロードするだけ

27. 証明書生成 @ AWS DeepLens

28. デプロイ中 @ AWS DeepLens
初回10分くらいかかったが、無事にデプロイができた

29. Hotdog or Not

30. Hotdog or Not

31. DeepLensのLambda Functionは
どう書くのか？🤔

32. Lambda Function
＜必要なもの＞
・greengrasssdk
→メッセージングの為に必要
・awscam
→モデルを読み込ませて、Inference(推論）をするのに
必要
・cv2
→カメラからの映像ストリームをとる為に必要

33. Lambda Function
モデルのロード
GPU/CPU切り替え

34. Lambda Function
カメラから映像を取得
224×224 pixelに変換
Inference
結果取得
※index=934がHOTDOG

35. どうやって自分のモデルをデプロイするのか🤔

36. Models on DeepLens
Built-inされた(?)モデル群を発見。おそらくサンプルが利用するもの。
アクション検知
Object Detection
スタイル変換

37. xml , binファイル達はなんなのか🤔

38. Intel Model Optimizerから出力された.xmlを渡している

39. Intel Model Optimizerの存在
https://software.intel.com/en-us/inference-engine-devguide-introduction#MO
①MXNet,TFで
モデルを準備する
②Intel Model Optimizerを使い
モデルの最適化
DeepLens側

40. Intel Model Optimizerの存在
aws_cam@Deepcam:~$ wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-symbol.json
aws_cam@Deepcam:~$ wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-0000.params
aws_cam@Deepcam:~$ ls -l | grep vgg16
-rw-rw-r-- 1 aws_cam aws_cam 553431792 Nov 14 2016 vgg16-0000.params
-rw-rw-r-- 1 aws_cam aws_cam 16554 Nov 14 2016 vgg16-symbol.json
aws_cam@Deepcam:~$ python3 /opt/intel/deeplearning_deploymenttoolkit/deployment_tools/model_optimizer/mxnet_converter/mo_mxnet_converter.py -
aws_cam@Deepcam:~$ ls -l | grep vgg16
-rw-rw-r-- 1 aws_cam aws_cam 276715088 Dec 20 07:42 mxnet_vgg16_FP16_FUSED.bin
-rw-rw-r-- 1 aws_cam aws_cam 22417 Dec 20 07:42 mxnet_vgg16_FP16_FUSED.xml
-rw-rw-r-- 1 aws_cam aws_cam 553431792 Nov 14 2016 vgg16-0000.params
-rw-rw-r-- 1 aws_cam aws_cam 16554 Nov 14 2016 vgg16-symbol.json
params, jsonを用意
bin, xmlが生成される

41. ・デベロッパーにとってクラウドとかエッジとか意識しなくても使
えるようになってきている
・サンプルが豊富なので、DeepLearningに触れるには非常に良い教
材である（30分あればDeepLensのセットアップ〜デプロイまで一
通りできる）
・Inferenceの速度参考： 一般物体検知で数fps
・推論中はDeepLensが結構激アツになる
DeepLensを触ってみての気づき
41
https://github.com/aws-samples/reinvent-2017-deeplens-workshop

42. ・DeepLens技適通ってないので、国内では使えません!!
(今回触るときは全てUSでやりました)
注意事項
42