Leap MotionではじめるNUIプログラミング 2013年8月24日開催　 プログラミング生放送 at 日本マイクロソフト株式会社　品川本社 31F セミナールーム C+D

1. Leap Motionではじめる
NUIプログラミング
森 博之（もり ひろゆき）
極東IT-Engineers / RIAアーキテクチャ研究会

2. 自己紹介
• 森 博之(もり ひろゆき）
• MS開発技術を専門としたフリーランスエンジニア
• Microsoft MVP for Visual C#
• 極東IT-Engineers 代表
• ブログ：もり ひろゆきの日々是勉強
• http://moriblog.kit-eng.com
• Twitter
• Windows8対応[基本＋実用]
Windowsストアアプリ開発入門 好評発売中！

3. Agenda
• Natural User Interface概要
• Leap Motion概要
• C#によるLeap Motionプログラミング

4. Natural User Interface概要

5. NUIって？
•Natural User Interface
• Computingにおけるユーザーインターフェースの中で自然
な・直感的な動作で操作可能な仕組みや方法は仕組みのこと。
• 人間の五感や人間が自然に行う動作による操作方法
• 主にIT関連のデザイナーや開発者で使われている用語

6. My First NUI
• Project Natal(のちのKINECT)
• Microsoft ResearchのNUI研究成果の１つ
• 2009年 6月
2010 International CESの基調講演で公開

7. KINECT for Windows
• ３つのセンサーとSDKを使ってユーザーの骨格・距
離・方向・音声・表情などを入力

8. その他のNUIデバイス
• Creative Interactive Gesture Camera DK
• ¥25,000程度
• Webカメラ・深度センサー・デュアルアレイマイク
• Intel Perceptual Computing SDKなどで開発
• Oculus Rift
• $300
• ヘッドマウントディスプレイを使った
VRゲーミングデバイス
現在、開発者向けSDKのみ

9. Leap Motion 概要

10. Leap Motionって？
• 手や指の動作を読み取ることができるデバイス
• ¥8,200.-(送料込み¥10,500.- 8/23現在)
• Windows / Mac OS X / Linux向けのSDKを利用して開
発
• Windows環境では以下の言語で開発可能
• C++
• C# / Visual Basic (.NET Framework)
• Java
• Python
• Objective-C
• JavaScript

11. 付属ツール
• Control Panel
• Leap Motionの設定
• Airspace
• Leap Motionのホームアプリ
• Visualizer
• Leap Motionの識別情報を視覚化
• Airespace STORE
• Leap Motion対応アプリのストア

12. C#による
Leap Motionプログラミング

13. Leap Motionから取得できるデータ
• モーショントラッキング（動作追跡）
• センサーの視界領域にある手や指を追跡
• 具体的には･･･
• 視界内のすべての手の識別(Hands)
• 視界内のすべての指の識別(Fingers)
• 視界内のすべて指とその座標位置(Pointables)
• 視界内のツール（指より長い棒状のもの）(Tools)
• ジェスチャーの開始・終了または更新(Gestures)

14. Leap Motionで利用する主要クラス
• Controller
• Leap Motion自体の制御を行うクラス
• Listener
• ControllerからEventによって通知を受けるための仮想クラス
• Hand
• 手の識別情報が格納されるクラス
• Finger
• 指の識別情報が格納されるクラス
• Tool
• ツールの識別情報が格納されるクラス
• Gesture
• ジェスチャーの識別情報が格納されるクラス

15. Controller
• Leap Motionの制御や情報取得を行う
• Frame情報はこのクラスを用いて取得する
• 取得方法
• Pollingによる取得
• controller.Frameメソッドを利用
• 戻り値がFrameオブジェクト
• Callbackを受けて取得
• Listenerを登録し、Callbackを受ける

16. Listener
• デバイスの状態をListenするために利用
• メンバーのメソッドをoverrideして実装する
• 主要メンバー
• OnInit
• コントローラーの初期化を行ったときに呼び出される
• OnConnect
• Leap Motionの接続したときに呼び出される
• OnDisconnect
• コントローラーがLeap Motionとの接続を解除したときに
呼び出される
• OnExit
• リスナーがコントローラーから削除されたとき
• コントローラーそのものが破棄されたとき
• OnFrame
• 新しいFrameの取得が可能になったとき

17. Frame
• 主要プロパティ
• HandList
• 手の識別情報のコレクション
• PointableList
• Pointableの識別情報のコレクション
• FingerList
• 指の識別情報のコレクション
• ToolList
• ツールの識別情報のコレクション
• 主要メソッド
• Gestures()
• 戻り値が GestureList
(ジェスチャーのコレクションオブジェクト)
その他、「移動」や「回転」、「スケール（拡大・縮小）」といった
モーション情報も含まれる

18. Gesture
• ジェスチャーの識別情報を格納したクラス
• 4種類のジェスチャーを識別可能
• Circle 指で円を描く
• Swipe 指を直線的に移動させる
• Tap
• Key Taps 指やツールを下方向へ曲げて戻す
• Screen Taps 画面方向へ向けて前後する

19. 参考：タッチエミュレーション
• Leap Motion SDKのサンプル
• Leap Motionを用いてTouchを識別する場合、仮想的
なタッチパネルが存在するように実装する。
• 指の移動状態から触れていない状態（Hovering)と触れてい
る状態(Touching)として、処理している

20. InteractionBoxクラス
• Leap Motionの可視領域上に下図のような箱状の
領域を設けて、取得したPointableListオブジェクト
をディスプレイの座標系に変換できる

21. まとめ
• Natural User Interface
• 人間の五感や人間が自然に行う動作による操作方法
• Leap Motion, KINECTなど手軽に入手ができるように
なった
• Leap Motion
• 手や指などの動作を識別することができる
入力デバイス
• Frameを用いて認識情報を取得する

22. ご清聴ありがとうございました
Thank you!