TensorFlowで遊びながら学んだ、はじめてのLED点滅 2016.8.12 IoT縛りの勉強会! IoTLT vol.18

1. takemikami’s note – http://takemikami.com/
三上 威 (フリーランスITエンジニア) twitter: @takemikami
TensorFlowで遊びながら学んだ、はじめてのLED点滅
データ屋がはじめてArduinoさわってみた
1
TensorFlow OpenCV Arduino
2016.8.12 IoT縛りの勉強会! IoTLT vol.18
Copyright (C) 2016 Takeshi Mikami. All rights reserved.

2. takemikami’s note – http://takemikami.com/
自己紹介
• 仕事： マーケティングデータ分析
• 勉強会： データ分析の話をしていたり
2Copyright (C) 2016 Takeshi Mikami. All rights reserved.
好きなAWSのサービス：S3, EIP

3. takemikami’s note – http://takemikami.com/
はじめに
• IoTということで
3Copyright (C) 2016 Takeshi Mikami. All rights reserved.
IDOL M@STER OpenCV TensorFlow
これらを使って遊びながら、LED点滅(IoTの第一歩)をやってみます！

4. takemikami’s note – http://takemikami.com/
TensorFlowとは
• DistBeliefというGoogleのサービスに使われている社内ツールを
OpenSourceにしたもの
• ディープラーニング/多層ニューラルネットワークが実装できる
• データフローグラフによって、
自由度の高いネットワークを記載できる
• 画像処理の関数も用意されている
4Copyright (C) 2016 Takeshi Mikami. All rights reserved.
TensorFlowの紹介をします。
オープンソースの機械学習ライブラリ
→画像のクラス分類などに利用できる（チュートリアルがそれ）

5. takemikami’s note – http://takemikami.com/
OpenCVとは
• 画像処理： 画像変換、補間など
• 構造解析： 輪郭処理や平面再分割など
• モーション解析・物体追跡
• パターン認識
• カメラキャリブレーション・三次元再構成
• 機械学習： クラス分類やクラスタリングなど
• ユーザインターフェイス： ビデオ入出力など
5Copyright (C) 2016 Takeshi Mikami. All rights reserved.
OpenCVの紹介をします。
OpenCV = Open Source Computer Vision Library
→画像や動画の便利な処理がいろいろ出来るライブラリ

6. takemikami’s note – http://takemikami.com/
アイドルマスターとは
6Copyright (C) 2016 Takeshi Mikami. All rights reserved.
アイドルマスターの紹介をします。
アイドル
育成・プロデュースゲーム
以上。

7. takemikami’s note – http://takemikami.com/
やってみたこと
7Copyright (C) 2016 Takeshi Mikami. All rights reserved.
やってみたことの概要を説明します。
アイドルを識別して、特定のアイドルの場合にLEDを点滅させる
アイドル
マスター
OpenCV TensorFlow
Arduino
LED
・画像を抽出 ・顔認識 ・クラス分類
（アイドルの識別）
・LED点滅
（該当アイドルの時）

8. takemikami’s note – http://takemikami.com/
実装方法について
• 実装言語：Python
– 開発環境： Jupyter notebookから実行
– Arduinoとの通信：pyserial
• アイドルの識別方法
– アルゴリズム：
畳み込みニューラルネットワーク(Convolutional Neural Network)
– 教師データの抽出方法：
アイドルマスタープラチナスターズの
アイドル毎のプロモーション動画の前半部分から画像を切り出し
– 学習の流れ：
雪歩・美希・やよいのデータを教師データとして、
雪歩かそれ以外を識別する予測モデルを作成
8Copyright (C) 2016 Takeshi Mikami. All rights reserved.
実装方法について紹介します。

9. takemikami’s note – http://takemikami.com/
OpenCVによる顔認識
9Copyright (C) 2016 Takeshi Mikami. All rights reserved.
※ゲームソフトから取得した画像を含むため公開は省略します。

10. takemikami’s note – http://takemikami.com/
教師データ
10Copyright (C) 2016 Takeshi Mikami. All rights reserved.
※ゲームソフトから取得した画像を含むため公開は省略します。

11. takemikami’s note – http://takemikami.com/
アイドル識別
11Copyright (C) 2016 Takeshi Mikami. All rights reserved.
※ゲームソフトから取得した画像を含むため公開は省略します。

12. takemikami’s note – http://takemikami.com/
pyserialによるArduinoへの通信
12Copyright (C) 2016 Takeshi Mikami. All rights reserved.