GCS2014 TMCN

モーションセンサーの
ゲーム機器外での利用と
今後の展開
中村薫

自己紹介
中村薫
フリーランスで主にDepthセンサー系の仕事をしています
アプリケーション開発、講演、ハンズオンセミナー、執筆など
Microsoft MVP for Kinect for Windows
kaorun55@naturalsoftware.jp
Copyright © 2014 Natural Software All rights reserved.

Tokyo MotionControl Network
https://www.facebook.com/TokyoMotioncontrolNetwork

今後の活動
• 7/10(木) TMCN総会
• 7/12(土) エフサミ!! 出張
• 8/02(土) ロボロボ祭り出張
• 9月(予定) TMCN総会
• 10月(予定) 岩崎学園学園祭出張

Kinect

Kinectとは
• Microsoft社が発売しているXbox 360
ゲーム機のコントローラー
• ゲームを操作する際に、
「コントローラーを持つ必要がない」
ことが特長
Copyright © 2014 Natural Software.jp All rights reserved.

Kinectとは
• 2010年11月にXbox 360の
コントローラーとして発売開始
• 2012年01月の時点で1,800万台
• 2013年02月の時点で2,400万台のセール
ス(for Xbox)

Kinect v2
• Xbox One に同梱された新しいKinect
• 2013年11月に米国などで発売開始
• 2014年04月の時点で500万台

大きな流れ・1

大きな流れ・1
Microsoft Intel
Apple Google

大きな流れ・2
Intel RealSense Leap Motion

なぜDepthセンサー？
• センサーの低価格化
• Web,モバイルに続く価値の提供

さまざまなセンサー&デバイス

注目のセンサー&デバイス
Kinect
Kinect v2
Creative Camera
Leap Motion
Oculus Rift
Structure Sensor

Kinect
• NUIのさきがけ
• Xbox用のほかにWindows用のセンサーが
ある
http://www.xbox.com/ja-JP/xbox360

Kinect for Windows SDK
Color Stream Depth Stream
Player Tracking Skeleton Tracking
Audio Stream

Toolkit
Kinect Studio
Kinect Background RemovalKinect Fusion
Face TrackingVoice Command
Kinect Interaction

Kinect v2
• Kinect for Windows v2 Developer
Preview の配布が始まっている
http://www.xbox.com/ja-JP/xbox-one/meet-xbox-one

Kinect for Windows v2
• Xbox Oneに付属のKinectと同等
• 2014年夏にリリース予定
• Kinect for Windows v2のソフトウェアや
ハードウェア、APIは暫定的なものであり
正式版では変更される可能性があります。

Kinect for Windows SDK v2
Color Stream Depth Stream Skeleton Tracking

Creative Senz3D
• 手指を認識できるセンサー
• Intel Perceptual Computing SDK を利
用する
• コンピューターへの内蔵化を予定

Intel Perceptual Computing SDK
Color Stream Hand and Finger Tracking Gesture and Pose Facial Analysis
Speech Recognition Voice Synthesis
"Nothing to say?"
Pulse EstimatorEmotion

インテルRealSenseテクノロジー

Leap Motion
• 指先を高精度で検出
• 使いやすいソフトウェア
• ハードウェアの内蔵化が進んでいる
https://www.leapmotion.com/

Leap Motion SDK
Hand and Finger Tracking Gesture
http://www.buildinsider.net/small/leapmotionfirstimp/01
Touch

Structure Sensor
• Kinect v1とほぼ同じセンサー
• iOS対応
• eBayにて発売開始

ViewerおよびScanner

Oculus Rift
• 非透過型のヘッドマウントディスプレイ
• 両目の視差を利用した立体視を体験できる
• 現在、開発者プレビュー段階

Senz3D+Oculus Rift

事例

医療
http://www.youtube.com/watch?v=624N3-nIieI

サイネージ

空中ディスプレイ
Kinect, Leap Motion, Intel PerC

現実世界へのインタラクション
階段＋マッピング＋Kinect
http://www.youtube.com/watch?v=h8wZnY_jWF8

Photo by Ben Lorph
Kinect x 8台

Kinectコンテストから
Copyright © 2014 Natural Software All rights reserved. http://k4wa.com/

非接触バイタルセンシング
http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063.html

高齢者遠隔運動指導・管理モデルRehAct
http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063_2.html

Senz3D+Oculus Riftで行動誘導

行動誘導の研究
https://www.youtube.com/watch?v=ldEyGeSw4M8

Structure Sensorを使った試作

センサー詳解

KINECT V1

Kinect v1
• NUIのさきがけ
• Xbox用のほかにWindows用のセンサーが
ある
http://www.xbox.com/ja-JP/xbox360

Toolkit
Kinect FusionFace Tracking
Kinect Interaction Kinect Background Removal

KINECT V2

注意!!
• Kinect for Windows v2のソフトウェアや
ハードウェア、APIは暫定的なものであり
正式版では変更される可能性があります。

Kinect v2

Kinect v2
• Kinect for Windows v2 Developer Preview
の配布が始まっている
• Kinect for Windows v2のRTMは7月末の予定
• Kinect for Windows SDK v2 のRTMは未定

http://www.youtube.com/watch?v=Hi5kMNfgDS4

KINECT V1とV2の比較

Kinect for Windows v2のハードウェア要求
対応OS Windows 8, Windows 8.1
開発環境 Visual Studio 2012 以降(C++, C#など)
CPU Core i7 2.5GHz以上 64bit CPU
メモリ 4GB以上
USB USB 3.0
グラフィック DirectX 11 対応のグラフィックカード
Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

センサーの仕様比較
Kinect v1 Kinect v2
Color画像
640x480
1280x960
1920x1080
Depth画像
80x69
320x240
630x480
512x424
Depthセンシング方式 Light Coding TOF(Time of Fright)
Depth認識範囲
800mm-4000mm(Default)
400mm-3500mm(Near)
500mm-4500mm
水平視野角 57度 70度
垂直視野角
43度
(±27度:チルトモーター)
60度
(http://goo.gl/pZQRKm)

Kinect v1 Kinect v2
人の検出 6人 6人
人の骨格検出 2人 6人
検出骨格数 20点/一人 25点/一人
手指検出 × △(親指と指先)
手のポーズ検出
△
(Kinect Interaction：グー、パー)
○(グー、チョキ、パー)

Kinect v1 Kinect v2
ジェスチャー
△
(Kinect Interaction:入力支援)
○
マイク 4つのマイクアレイ 4つのマイクアレイ
音声入力 ○ ○
チルトモーターありなし
加速度センサーありなし

Kinect v1 Kinect v2
USB USB 2.0 USB 3.0
複数Kinectの同時利用 4台まで未定
複数アプリからの同時利用 × ○

Kinect for Windows SDK v2
Color Stream Depth Stream Skeleton Tracking

Depthを比較する
Kinect v1 Kinect v2

物
Kinect v2
壁
台
反射の時間を測る
Depthセンシング方式(TOF)

Depthセンシング方式(Light Coding)
ランダムな点を照射し、
歪みを計測する

全身の骨格検出数
Kinect v1 : 20点/一人 Kinect v2 : 25点/一人

全身の骨格検出数

http://www.innovotion.co.jp/blog/2013/11/27/22/

Kinect v1からのデータ
• ColorImageStream
– RGB または IR
• DepthImageStream
– Depth と PlayerIndex
• SkeletonStream

Kinect v2からのデータ
• ColorFrameReader
• DepthFrameReader
• InfraredFrameReader
• BodyIndexFrameReader
• BodyFrameReader
• LongExposureInfraredFrameReader
• MultiSourceFrameReader

改善点
• DepthとPlayerIndex(BodyIndex)が分離された
– V1ではDepthとPlayerIndexがひとまとまりだった
• ColorストリームとIRストリームを同時に読み込
むことができる
– V1ではColorとIRストリームは排他(PrimeSense系セ
ンサーの仕様?)

INTEL PERCEPUTUAL COMPUTING SDK

Intel Perceptual Computing SDK
• 2013年3月に正式版がリリースされたSDK
• 手指および顔の認識、音声認識が特長
• 全ての機能はリファレンスカメラとしての
「Creative* Interactive Gesture Camera」
でのみ動作する
• 一部のカメラのみの機能はWebカメラでも動
作する
• 以降 PerC SDKと表記する

PerC SDK
Color Stream Hand and Finger Tracking Gesture and Pose Facial Analysis
Speech Recognition Voice Synthesis
"Nothing to say?"
Pulse EstimatorEmotion

Sensor
http://download-software.intel.com/sites/default/files/article/325946/creativelabs-camera-productbrief-final.pdf

Creative* Camera
• SoftKinetic 社 DS325 互換
• Creative* Camera で SoftKinetic 社 iisu SDK を
利用することもできる
• 逆(DS325 で PerC SDK)はできない

RGB Camera
解像度 720p (1280×720 pixels)
フレームレート 30 fps
視野角 73 度
表示範囲 0m – 7.01m

IR Depth Sensor
解像度 QVGA (320×240 pixels)
フレームレート 30 fps
視野角 73 度
認識範囲 15cm – 100cm
認識技術 Time-of-flight(TOF)

インテルRealSenseテクノロジー
• 2014年1月のCESにて、PerC SDKや
Creative* Cameraは「インテル
RealSenseテクノロジー」として発表さ
れた
• 2014年末にはDepthセンサーが内蔵され
たノートPCやタブレットPCが発売予定

LEAP MOTION

Leap Motion
• Leap Motion社が販売しているデバイス
• 手や指の動きを認識する

なにができるのか
http://www.youtube.com/watch?v=3b4w749Tud

Leap Motion SDK v2
http://www.buildinsider.net/small/leapmotionfirstimp/01
Hand Tracking Arm Tracking

Leap Motion のインタフェース
Leap Motion Application Interface Leap Motion WebSocket Interface
https://developer.leapmotion.com/documentation/GetStarted/Leap_Architecture.html

Airspace

内蔵されたLeap Motion
http://gizmodo.com/heres-the-first-laptop-with-leap-motion-built-right-in-1346551607

デバイスの実行環境

デバイスの実行環境(OS)
Windows Mac OSX Linux iOS Android
Kinect for Windows v1 ○ × × × ×
Kinect for Windows v2 ○ × × × ×
Intel RealSense ○ × × × ×
Leap Motion ○ ○ ○ × ×
Structure Sensor ○ ○ △ ○ ×
Google Tango × × × × ○
Kinect for Wndows v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

デバイスの実行環境(開発環境、言語)
C++
.NET
(C#,VB)
WinRT
(C++,C#,VB)
Unity
(C#)
Objective-C Java
Kinect for Windows v1 ○ ○ × △ × ×
Kinect for Windows v2 ○ ○ ○ ○ × ×
Intel RealSense ○ ○ × ○ × ○
Leap Motion ○ ○ × ○ ○ ○
Structure Sensor ○ ○ × △ ○ ×
Google Tango × × × × × ○
Kinect for Wndows v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

出力装置の進化

ディスプレイを越えて

http://www.youtube.com/watch?v=h8wZnY_jWF8

Oculus Rift（オキュラス・リフト）
http://www.oculusvr.com/

触覚を得る

http://www.youtube.com/watch?v=xaFBjUJj00M

http://www.youtube.com/watch?v=CE4WsYncNa4

今後の予測

新しいデバイス
http://makezine.com/2014/01/12/make-editors-highlights-and-picks-from-ces-2014/
http://mobilesyrup.com/2014/01/09/thalmic-labs-shoots-to-kill-with-ces-demo-first-look/

キーワード
• 内蔵化
• モバイル
• Web/クラウド

内蔵化
センサーの内蔵化が進むでしょう。
• Leap Motion
• インテルRealSenseテクノロジー
https://www.leapmotion.com/

内蔵化によるメリット
• ユーザーが個別にセンサーを購入する必
要がなくなる
• センサーを所持するユーザーが増える
• センサーを使ったアプリケーションの需
要が高まる

モバイル
• iOSやAndroid対応のセンサーが発売され、
モバイルでのセンサー利用が可能になる
でしょう。
http://makezine.com/2014/01/12/make-editors-highlights-and-picks-from-ces-2014/

モバイル化によるセンサー用途
• 空間スキャン
• ユーザーの向いている方向を認識
• ユーザーを認識

Web/クラウド
• センサーSDKのブラウザ対応が進んでい
ます。Webやクラウドとセンサーの連携
が進んでいくでしょう。

Tokyo MotionControl Network
https://www.facebook.com/TokyoMotioncontrolNetwork

GCS2014 TMCN

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à GCS2014 TMCN

Similaire à GCS2014 TMCN (20)

Plus de Kaoru NAKAMURA

Plus de Kaoru NAKAMURA (13)

Dernier

Dernier (9)

GCS2014 TMCN