Kinect for windows sdk introduction

初めての
Kinect for Windows SDK
プログラム

株式会社ゲッシュ
Ver.1.2 2012/06/19
http://www.microsoft.com/en-us/kinectforwindows/

⾃自⼰己紹介
中村薫
株式会社ゲッシュ (http://www.geis.co.jp/)
• Windows ⽤用のセキュリティソフトウェアの受託開発
• NUIデバイスを利利⽤用したアプリケーション開発
• Scrumなどのアジャイルな開発⼿手法を利利⽤用した現場改善
• 新⼈人研修やセミナー講師
• nakamura.kaoru@geis.co.jp
• @kaorun55
KINECT introduction by Geis Co. Ltd. is licensed under a Creative Commons 表示 - 非営利 - 改変禁止 2.1 日本 License.

⾃自⼰己紹介


免責事項

本スライドの内容による、
いかなる損害の責任を負いません。
⾃自⼰己責任の上、ご利利⽤用ください。


Kinectとは
• Microsoft社が発売しているXbox 360ゲーム機
のコントローラー(Kinect for Xbox 360)

• ゲームを操作する際に、「コントローラーを持
つ必要がない」ことが特⻑⾧長

• 2012年年2⽉月1⽇日にWindows⽤用のKinectの発売を
開始した(Kinect for Windows)


Kinect for Xbox 360の
販売台数
世界累累計

• 2か⽉月で800万台

•5か⽉月で1,000万台

•12か⽉月で1,800万台

Kinect for Windows


Kinect for Windowsとは
• 2012年年2⽉月1⽇日(⽶米国時間)に発売され
た、Windows 向けのKinect
• 実売：¥24,800(249USドル)
• 商⽤用利利⽤用に対しての制限はない
• 40cmまで認識識可能な「Near Mode」
を搭載
• その他のハードウェア機能は、従来の
Kinect for Xbox 360と同様

Kinectセンサー


Kinect for Windowsの概要
サイズ(縦x横x⾼高さ) 65 x 280 x 70(mm)
重量量 600g
Kinect センサー(ケーブル1.5m)
同梱物
USB/電源ケーブル(⻑⾧長さ2.8m)
Windows 7
対応OS
Windows Embedded Standard 7
デュアルコアプロセッサ以上(x86,x64)
2.66GHz以上を推奨
ハードウェア要件
2GB以上のRAM
USB 2.0ポート(専有)
Kinect for Windows SDK
ソフトウェア開発キット(SDK)
http://www.microsoft.com/en-‐‑‒us/kinectforwindows/


Kinect fot Windows SDK とは
• Kinect for Windows 向けのSDK
• 2012/06/19 現在 v1.5
• 無償で利利⽤用することができる
• 商⽤用利利⽤用に対しての制限はない
• ランタイム(ユーザー環境)の実⾏行行にはKinect
for Windows が必要
• 従来のKinect for Xbox 360 は、開発時に限定
して使⽤用することが可能(商⽤用利利⽤用はできない)


ライブラリの機能

• RGBカメラで、ピクセルごとの⾊色が取得できる
• 距離離カメラで、ピクセルごとの距離離が取得できる
• ⼈人を認識識することができる(最⼤大6⼈人)
• ⼈人の⾻骨格を認識識することができる(最⼤大2⼈人)


ライブラリの機能

• ⾳音声を取得することができる
• ⾳音源の⽅方向を推定することができる
• チルトモーターで、カメラの⾓角度度を調整できる
• 複数のKinectを制御することができる(最⼤大4台)


付属機能

• ⼊入⼒力力した⾳音声から単語を認識識することがで
きる(⾳音声認識識)

• ⼊入⼒力力した画像データから顔を認識識すること
ができる


RGBカメラ


距離離カメラ
Defaulrモード Nearモード


距離離モード


⼈人を認識識する


⾻骨格を認識識する
Defaulrモード Nearモード


⾻骨格の認識識


Seated モード


⾳音源⽅方向を認識識する


チルトモーター


応⽤用利利⽤用


顔検出


指検出

Kinect for Windows SDK Book by Geis Co. Ltd. is licensed under a Creative Commons 表示 - 非営利 - 改変禁止 2.1 日本 License.

仮想試着

Kinect for Windows SDK Book by Geis Co. Ltd. is licensed under a Creative Commons 表示 - 非営利 - 改変禁止 2.1 日本 License.

マウスの代替


⻑⾧長さを測る


背景マスク


光学迷彩


タッチスクリーン


Kinect for
Windows SDK ⼊入⾨門
v1.5


必要なもの
• Kinect for Windows SDK
• Kinect for Windows Developer Toolkit
• http://www.microsoft.com/en-‐‑‒us/
kinectforwindows/

• Kinect for Windows
• または Kinect fot Xbox 360(開発時のみ)

他に使うもの
• Windows 7 SP1 32bit
• Visual C# 2010 Express
• http://www.microsoft.com/japan/
msdn/vstudio/express/

• WPF
• Coding4Fun.Kinect Toolkit
• http://c4fkinect.codeplex.com/

サンプルコード

• https://github.com/kaorun55/
KinectSdkIntroduction

• サンプルは、順番に機能を追加してい
くようになっています


インストール
http://d.hatena.ne.jp/kaorun55/20120201/1328123704


1. Kinect をコンピューターからはずします

2. Beta版のアンインストール

• Beta版の Kinect for Windows SDK がインス
トールされている場合は、削除してください

3. ここからインストーラをダウンロードします

• 32bit版と64bit版ともに同じインストーラで
す


4. インストーラの通りにインストールします


5.Kinect をコンピューターに接続します


6.スタートメニューの「Microsoft Kinect SDK
vX.X｜Developer Toolkit Browser vX.X」
を起動します


7.Kinect Explorerを起動して、画像が表⽰示さ
れればOKです


プロジェクトの作成


1. プロジェクトを作成します。C#とWPFで
作ります


2. Kinect SDKとKinect Toolkitを参照に加え
ます


RGBカメラ


RGBカメラの画像を表⽰示する


MainWindow.xaml

<Window x:Class="RgbCamera.MainWindow"
xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
Title="RgbCamera" Height="521" Width="663" SizeToContent="Manual">
<Grid>
<Image Name="imageRgbCamera" Margin="0" Stretch="Uniform" />
</Grid>
</Window>


MainWindow.xaml.cs
using System;
using System.Windows;
using Coding4Fun.Kinect.Wpf;
using Microsoft.Kinect;

namespace RgbCamera
{
/// <summary>
/// MainWindow.xaml の相互作用ロジック
/// </summary>
public partial class MainWindow : Window
{
public MainWindow()
{
InitializeComponent();

try {
if ( KinectSensor.KinectSensors.Count == 0 ) {
throw new Exception( "Kinectが接続されていません" );
}

// Kinectインスタンスを取得する
KinectSensor kinect = KinectSensor.KinectSensors[0];


MainWindow.xaml.cs
// Colorを有効にする
kinect.ColorFrameReady +=
new EventHandler<ColorImageFrameReadyEventArgs>(
kinect_ColorFrameReady );
kinect.ColorStream.Enable();

// Kinectの動作を開始する
kinect.Start();
}
catch ( Exception ex ) {
MessageBox.Show( ex.Message );
Close();
}
}

void kinect_ColorFrameReady( object sender, ColorImageFrameReadyEventArgs e )
{
imageRgbCamera.Source = e.OpenColorImageFrame().ToBitmapSource();
}
}
}


距離離カメラ


距離離カメラを画像化する


MainWindow.xaml

<Window x:Class="DepthCamera.MainWindow"
Title="DepthCamera" Height="521" Width="663">
<Grid>
<Image Name="imageRgbCamera" Stretch="Uniform" />
<Image Name="imageDepthCamera" Stretch="Uniform" Opacity="0.7" />
</Grid>
</Window>


MainWindow.xaml.cs
public MainWindow()
{

try {
}

KinectSensor kinect = KinectSensor.KinectSensors[0];

new EventHandler<ColorImageFrameReadyEventArgs>( kinect_ColorFrameReady );

// Depthを有効にする
kinect.DepthFrameReady +=
new EventHandler<DepthImageFrameReadyEventArgs>( kinect_DepthFrameReady );
kinect.DepthStream.Enable();

kinect.Start();
}
Close();
}
}


MainWindow.xaml.cs
// RGBカメラのフレーム更新イベント
void kinect_ColorFrameReady( object sender, ColorImageFrameReadyEventArgs e )
{
}

// 距離カメラのフレーム更新イベント
void kinect_DepthFrameReady( object sender, DepthImageFrameReadyEventArgs e )
{
imageDepthCamera.Source = e.OpenDepthImageFrame().ToBitmapSource();
}


プレーヤーの認識識


さらにプレーヤーをかぶせる


MainWindow.xaml

前回と同じ


MainWindow.xaml.cs
public MainWindow()
{

...

new EventHandler<ColorImageFrameReadyEventArgs>( kinect_ColorFrameReady );

// Depthを有効にする
kinect.DepthFrameReady +=
new EventHandler<DepthImageFrameReadyEventArgs>( kinect_DepthFrameReady );

// Skeletonを有効にするとプレーヤーが取得できる
kinect.SkeletonStream.Enable();
kinect.Start();

...
}


スケルトン・トラッキング


スケルトンも描く


MainWindow.xaml

<Window x:Class="SkeletonSample.MainWindow"
Title="Skeleton" Height="521" Width="663">
<Grid>
<Image Name="imageRgbCamera" Stretch="Uniform" />
<Image Name="imageDepthCamera" Stretch="Uniform" Opacity="0.7" />
<Canvas Name="canvas1" />
</Grid>
</Window>


MainWindow.xaml.cs
KinectSensor kinect;

public MainWindow()
{

try {
}

kinect = KinectSensor.KinectSensors[0];

// すべてのフレーム更新通知をもらう
kinect.AllFramesReady += new EventHandler<AllFramesReadyEventArgs>( kinect_AllFramesReady );

// Color,Depth,Skeletonを有効にする
kinect.SkeletonStream.Enable();

kinect.Start();
}
Close();
}
}


MainWindow.xaml.cs

void kinect_AllFramesReady( object sender, AllFramesReadyEventArgs e )
{
imageDepthCamera.Source = e.OpenDepthImageFrame().ToBitmapSource();

// 骨格位置の表示
ShowSkeleton( e );
}


MainWindow.xaml.cs
private void ShowSkeleton( AllFramesReadyEventArgs e )
{
// キャンバスをクリアする
canvas1.Children.Clear();

// スケルトンフレームを取得する
SkeletonFrame skeletonFrame = e.OpenSkeletonFrame();
if ( skeletonFrame != null ) {
// スケルトンデータを取得する
Skeleton[] skeletonData = new Skeleton[skeletonFrame.SkeletonArrayLength];
skeletonFrame.CopySkeletonDataTo( skeletonData );

// プレーヤーごとのスケルトンを描画する
foreach ( var skeleton in skeletonData ) {
if ( skeleton.TrackingState == SkeletonTrackingState.Tracked ) {
// 骨格を描画する
foreach ( Joint joint in skeleton.Joints ) {
// 骨格の座標をカラー座標に変換する
ColorImagePoint point = kinect.MapSkeletonPointToColor( joint.Position, kinect.ColorStream.Format );

// 円を書く
canvas1.Children.Add( new Ellipse()
{
Margin = new Thickness( point.X, point.Y, 0, 0 ),
Fill = new SolidColorBrush( Colors.Black ),
Width = 20,
Height = 20,
} );
}
}
}
}


こちらもご覧ください

http://www.slideshare.net/kaorun55/kinect-introduction

KINECT for Windows SDK C#編

http://www.slideshare.net/kaorun55/kinect-for-windows-sdk-c

KINECT for Windows SDK C++編

http://www.slideshare.net/kaorun55/kinect-for-windows-sdk-cpp

Enjoy!! Kinect Hack!!

twitter:@kaorun55


Kinect for windows sdk introduction

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Kinect for windows sdk introduction

Similaire à Kinect for windows sdk introduction (20)

Plus de Kaoru NAKAMURA

Plus de Kaoru NAKAMURA (18)

Dernier

Dernier (8)

Kinect for windows sdk introduction