Flex 勉強会第 166 回＠仙台「AIRKinectについて」 by tokufxug

AIRKinect
について
FxUG 勉強会第166回 in 仙台
2012年 04月21日 (水) 徳山禎男

アジェンダ
 自己紹介
 Kinectとは
 Kinectの開発環境について
 AIRKinectとは
 AIRKinect2.1による開発
 AIRKinect事例（動画）
 AIRKinectをはじめる人は…

自己紹介

 tokufxug
http://twitter.com/tokufxug/

 徳山禎男

 業務システムWEBアプリ開発者

自己紹介
 よく使用しているテクノロジー

Java （Servlet, JSP, Struts）

Flex 3, AIR 1.5

 FxUG東京勉強会運営メンバー

Kinectとは
マイクロソフト社の家庭用ゲーム機。
XBOX360用のモーションセンサー
コントローラ。

Kinectとは
マイクロソフト社の家庭用ゲーム機。
XBOX360用のモーションセンサー
コントローラ。

体の動きやジェスチャー、
音声を認識して遊ぶこと
が可能。

Kinectとは
KinectはUSBで接続します。

Kinectとは
USB接続が可能なことから、
PCやMacに接続して…

Kinectとは
USB接続が可能なことから、
PCやMacに接続して

Kinect用ライブラリを
使ったアプリケーション
が開発されました。

Kinectとは
この現象を「Kinectハック」
と呼ばれるようになります。

Kinectとは
この現象を「Kinectハック」
と呼ばれるようになります。

Kinectハックをきっかけに、
マイクロソフトから、
Windows用ドライバが
リリースされます。

Kinect 開発環境について
Kinect SDK Beta2
対応OS:Windows7 ～（詳細な要件はこちら）

Kinect for XBOX ¥14,800-

Kinect SDK Beta2
対応OS:Windows7 ～（詳細な要件はこちら）

商用利用不可
非商用可（2016年6月16日まで）

OpenNI（OpenNI, Nite, SensorDriver）
対応OS:Windows7 ～

SimpleOpenNIプロジェクトで
全て揃うようです。

商用利用版もあります。


Windows に対応した
Kinect for Window
が必要です。


Kinect for Window
が必要です。

価格は¥24,800-
マイクロソフトオンラインショップで
販売しています。


Kinect for Window
が必要です。

Kinect SDK Version 1
対応OS:Windows7 ～


Kinect for Window
が必要です。

Kinect for Windows と Kinect SDK
バージョン1によるアプリは商用可｡


Kinect for Window
が必要です。

Kinect for XBOX と Kinect SDK
バージョン1によるアプリは､
商用/非商用どちらとも不可｡


Kinect for Window
が必要です。

Kinect for XBOX と Kinect SDK
バージョン1によるアプリは､
商用/非商用共に不可｡

Mac（ Lion, Snow, Leopard ）の場合



OpenNI, Nite,
SensorKinect が必要。


Kinect for Window
は…


Kinect for Window
は…

Macでは認識しませんでした…｡


Kinect for Window
は…

Kinect for XBOX でないと､
動作しないようです｡


AIRアプリからKinectセンサーに
アクセスするには…？


AIRKinect

AIRKinectとは
AIRアプリケーションから
Kinectセンサーを利用する為の
ライブラリ。

AIRKinectとは
AIRアプリケーションから
Kinectセンサーを利用する為の
ライブラリ。

開発元：as3NUI

AIRKinectとは
AIR 3 の新機能、
ネイティブ拡張 for AIR で開発。

AIRKinectとは

ライブラリだけでなく、
Windows なら Kinect SDK、
OpenNIが必要。
Mac は、OpenNIのみ。

AIRKinectとは

ネイティブの実装は意識せず、
ActionScriptだけで、
Kinectアプリが、作れます。

AIRKinectとは
AIRKinectのバージョンについて

AIRKinectとは

AIRKinect version 1.x
AIRKibect version 2.x

AIRKinectとは

AIRKibect version 2.x

バージョンが2つ存在します。

AIRKinectとは

AIRKinectとは
最新版：version 1.7.1

はじめにリリースしたバージョン
機能：
RGBカメラ, 深度カメラ,
骨格追跡

AIRKinectとは

機能拡張用ライブラリも別途提供。

AIRKinectとは

機能拡張：
ヒストリー、骨格追跡の保存と再生、
ジェスチャー, 領域判定…etc

AIRKinectとは
AIRKinect version 2
最新版：version 2.1

AIRKinectとは
AIRKinect version 2

実装方法が簡単になりました。
機能：
RGBカメラ, 深度カメラ,
骨格追跡, PointCloud

AIRKinectとは
AIRKinect version 2

実装方法が簡単になりました。
機能：
OpenNI for Windowsの対応、
ニアモードの対応（MSオンリー）

AIRKinectとは

AIRKinectには、
オーディオ機能が
搭載されていません。

AIRKinectとは

今回は、
AIRKinect2.1を使用した
AIRアプリ開発に
ついて解説します。

AIRKinect2.1による開発
今回使用する開発環境：

 Windows 7 搭載 PC
 Kinect SDK version 1.0
 Flash Builder 4.6
 AIR 3.1

 Windows 7 搭載 PC
 Kinect SDK version 1.0
 Flash Builder 4.6
 AIR 3.1
AIRKinectがSWFバージョン14な為、
作成するアプリはAIR3.1以上が必須条件。

準備

準備
airkinect-2-coreページに
アクセス。

準備
airkinect-2-coreページに
アクセス。
Download の zip をクリック。

準備
ZIPフォルダを解凍後、binフォ
ルダにあるairkinect-2-xx.ane
を取り出します。 Kinect SDKの方

OpenNIの方

準備
ANEファイルがネイティブ拡張
for AIR のライブラリファイル
です。 Kinect SDKの方

OpenNIの方

準備
AIRプロジェクトの作成を
行った後、
airkinect-2-xx.aneを
ネイティブ拡張ライブラリと
して登録します。

準備
リソース→ActionScriptビルドパス→ネイ
ティブエクステンションで「ANEを追加」

準備
リソース→ActionScriptビルドのパッケー
ジ→ネイティブエクステンションでパッ
ケージの箇所のチェックボックスに
チェックを入れます。

開発

開発
 AIRKinect2.1のコアクラス

開発
 RGBカメラの実装

開発
 深度カメラの実装

開発
 骨格追跡の実装

開発
 マスクモードの実装

開発
 ポイントクラウドの実装

開発
com.as3nuinativeExtensions.air.kinect

 Kinectクラス
 KinectSettingクラス

開発
 Kinectクラス

開発
 Kinectクラス
Kinectセンサーの設定、実行開始、
実行終了、カメラやセンサーから
取得した情報を管理するクラス。

開発
 Kinectクラス
実装例
var kinect:Kinect = Kinect.getDevice();
… … … … … …
kinect.addEventListener(…
kinect.start(kinectSetting);

開発

開発
Kinectセンサーの各種モードを
設定する為のクラス。

開発
実装例（RGBカメラ - 320x240）
var setting:KinectSetting =
new KinectSetting();
setting.rgbEnabled = true;
setting.rgbResolution =
CameraResolution_320_240;

開発
実装の流れ

開発
実装の流れ

if (Kinect.isSupported()) {
…
}

開発
実装の流れ
// Kinectセンサーの接続有無
…
}

開発
実装の流れ
// Kinectセンサーの接続有無
// Kinectの処理を記述…
}

開発
実装の流れ
// Kinectの処理を記述

開発
実装の流れ

開発
実装の流れ
kinect.addEventListener(
DeviceEvent.STARTED, onStart);
kinect.addEventListener(
DeviceEvent.STOPPED, onStop);

開発
実装の流れ
var kinectSetting:KinectSetting =
// kinectSettingで設定処理を行う。

開発
実装の流れ
var kinectSetting:KinectSetting =
// kinectSettingで設定処理を行う。
// 必要なイベントを登録後、
// kinect開始。
kinect.start(kinectSetting);

開発
 RGBカメラとは？
Kinectの映像カメラから
BitmapDataに変換したデータを
取得する機能。

解像度：
160x120, 320x240, 640x480

開発

開発
Kinectクラスの取得。
KinectSettingにRGBカメラモードを
設定。解像度も設定する。

開発
KinectクラスにRGBカメラ更新
イベントを登録。

開発
KinectクラスにRGBカメラ更新
CameraImageEvent.RGB_IMAGE_UPDATE

開発
Kinectをスタート。

開発

RGBカメラのデモを行います

開発
 深度カメラとは？
Kinectの近赤外線カメラから
BitmapDataに変換したデータを
取得する機能。

奥行情報をモノクロ階調で
表現。ユーザー認識や
ニアモードにも対応。

開発

開発
KinectSettingに深度カメラモードを
設定。解像度も設定する。

開発
Kinectクラスに深度カメラ更新

開発
Kinectクラスに深度カメラ更新
CameraImageEvent.DEPTH_IMAGE_UPDATE

開発

開発

深度カメラのデモを行います

開発
 骨格追跡とは？
Kinectセンサーが認識した
身体の関節部位を推定し、
骨格情報を構築する機能。

AIRKinectが提供する
独自クラスで取得する。

開発

開発
KinectSettingに骨格追跡モード
を設定する。

開発
ENTER_FRAMEでイベント登録後、

開発
ENTER_FRAME毎に骨格追跡の情報を持つ
ユーザー情報を取得。（Vectorで

人数分を一括取得。）

開発
ENTER_FRAME毎に骨格追跡の情報を持つ
ユーザー情報を取得。（Vectorで

人数分を一括取得。）

Kinect.getDevice().userWithSkeletion

開発
ユーザー情報 = Userクラス

開発
com.as3nui.nativeExtensions

.air.kinect.data.User

開発

.air.kinect.data.User

骨格追跡や位置情報などを
保持するクラス。

開発

.air.kinect.data.SkeletonJoint

開発

.air.kinect.data.SkeletonJoint

骨格部位の名前、位置情報を
保持するクラス。

開発
Userクラスから骨格情報を繰り返し取得。
for each(var user:User in Kinect.getDevice().usersWithSkeleton) {

// ユーザー情報にある骨格情報を繰り返し取得

for each(var joint:SkeletonJoint in user.skeletonJoints) {

// 描画処理を行う。

}

}

開発
Userクラスから骨格の各部位を

取得することも可能。

頭：user.head, 左足：user.leftFoot…

開発
骨格追跡のデモを行います

開発
 マスクモードとは？
RGBカメラで取得した画像に、
ユーザー認識した画像だけを、
切り抜く機能。

ニアモードにも対応。

開発

開発
KinectSettingにユーザーマスク
モードを設定。解像度も設定する。

開発
KinectクラスにUserのマスク
イメージ更新イベントを登録。

開発
KinectクラスにUserのマスク
イメージ更新イベントを登録。
UserEvent.USER_MASK_IMAGE_UPDATE

開発

開発

マスクモードのデモを行います

開発
 ポイントクラウドとは？
ポイントクラウドとは点群
とも呼ばれ、3次元座標の
集合です。
Kinectから得たRGBカメラ
と深度カメラ情報から
解析して、ByteArrayで
返却されます。

開発

開発
KinectSettingにポイントクラウド
使用可とする。解像度も設定する。

開発
KinectクラスにPointCloudの
更新イベントを登録。

開発
KinectクラスにPointCloudの
更新イベントを登録。
PointCloudEvent.POINT_CLOUD_UPDATE

開発

開発

ポイントクラウドのデモを
行います

AIRKinect事例（動画）
AIRKinect作品
 ペイントするアプリ
Kinect + Flash + Natzke
Ribbons

AIRKinect作品
 ゲームアプリ
羽を動かして遊ぶゲームアプリ

料理するゲームアプリ

ボクシングゲームアプリ

ヒーローアプリ

AIRKinect作品
 as3NUIチームのデモ
サンタなりきり
モンスターなりきり

AIRKinectをはじめる人は…
参考ページ
 as3NUI

http://www.as3nui.com/

 airkinect-2-core

http://as3nui.github.com/airkinect-2-core/

AIRKinectをはじめる人は…
参考ページ
 airkinect-2-examples(source) github

https://github.com/AS3NUI/airkinect-2-
examples

 ANE-LAB (Google Code）デモアプリはここにあります。

http://goo.gl/hi8OM

ご清聴ありがとうございました。

Flex 勉強会第 166 回＠仙台「AIRKinectについて」 by tokufxug

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Flex 勉強会第 166 回＠仙台「AIRKinectについて」 by tokufxug

Similaire à Flex 勉強会第 166 回＠仙台「AIRKinectについて」 by tokufxug (20)

Plus de Sadao Tokuyama

Plus de Sadao Tokuyama (20)

Dernier

Dernier (9)