カラフルゴーストバスターズ「kinectでのモーション検出」

1. カラフルゴーストバスターズ
kinect

2. これから紹介するカラフルバスターズのコードでは
主に時間のカウントをする表示のコード、倒すと点数が増える
ゴーストを表示させるコード、踏んでしまうと点数が減ってしま
うバルーンの表示のコードになっている。
時間はofApp.h、ofApp.cppのほうで計算するようにして、各クラ
スにもっていってカウントしている時計のカウントに使っている。

3. バルーンとゴーストが踏んだら消えるように二つの足のポジショ
ンを取って他のクラスに持っていくのがkinectのコードの役目で
ある。kinectでとるポジションは初めに用意する配列にポジショ
ンを入れていく、なので始めに配列のほうをたくさん用意してお
くとセンサーの限界以内なら何人でもこのゲームに参加できるこ
とになる。

4. kinectとはRGBカメラや深度センサーによって全身を使った動き
によって入力できる、モーションセンサーデバイス。
kinectの制御をするためにコードを書いていく。
kinectでとったポジションを他のクラスに持っていくことが必要
となる。
ofAppのほうで取ったポジションをそれぞれのクラスでマウスの
ポジションで取っているところを足のポジションで置き換えると
いったイメージ。

5. センサーの処理はX,Y,Z軸の考え方の認識が必要。
本来はジャンプ操作をする必要がなかったのでx,z軸でのみ使用してポジ
ションをとるでも大丈夫だったが、
今回は精度を上げるためにY軸を面を含めた制御になっている。

6. 初めはScreen上にのピクセル位置(x,y)から方向の情報を得て
そこからスカラー倍することで目的のポジションを得ることができる。
そのジションをワールド座標系に変換する。
なぜワールド座標系に変換するというと簡単な座標変換によって任意の位置
からどう見えるのか求められるようになるので使い勝手がよくなるからだ。
ワールド座標系はkinectの位置を原点としたときに、実空間のなかで縦方向
をX軸、横方向をY軸、前方向をZ軸とした座標系である。
つまりX,Y,Zで表現できるため簡単に表すことができる。

7. つまりkinectではX,Z軸しか使わずに表現
できるんですよね、なので初めは簡単な
地平線センサーを作りたいと思う。
水平線線上の障害物の投影座礁を640個用
意してあるXnProject[]という並列に入れ
て、処理を軽くするために一度処理をは
さむ。
XnPoint3Dとは三次元座標データだ。

8. ヘッダのほうでincludeしておく。
kinectを使用するときはofOpenNIをinclude
しておく必要がある。

9. kinectのsetup
backZと書いてあるところに足
のポジションを取るうえで背景
のポジションを取ってしまうと
足のポジションの邪魔になるの
で、背景のポジションを別にい
れるようにしている。

10. 足のポジションをとる時には都合よく
欲しいポジションの値だけ取れたりは
しない。一つの足にたくさんのポジ
ションを取ってしまう。
とりたいのはゲームをしている人の足
のポジションなのでそれぞれの点の距
離を見て足のポジションとして見る点
を取る。
そのためにintervalの変数を用意して
近くにある点を飛ばしてポジションを
取っている。

11. 床の画面のほうをはじめは動画で扉が開
いていく様子を表示させて、そこから床
の画像を表示させている。途中の半分の
秒数を過ぎたあたりで他の画像に切り替
えている、そのためにsetupでloadして
いる。最後の終了の時に流すための音と
各秒数減っていくと音を流している。
右下のコードはupdateで
真下のコードはdrawのコード。

12. drawのメソッドのところで
モードの変更ができるようになって
いる。
モード１のほうでは天井から足の位
置を把握した視点、
モード２のほうではkinect自体から
見た視点で見れるようになっている。
本来は画面のスクリーンの傾きと高
さの調整するためにおいている
先ほどのスライドで説明したとおり
固定した場合必要でない

13. ofApp::keyPressedのほうで
sのキーを押すと用意していた
backZの配列に入るほうにかいている。

14. 映すプロジェクターの位置に
よって
初期位置からどれくらい移動す
るのか変更する。
あとでスタートを手動で出来る
ようにしたかったのでboolで
変えられるようにしている。

15. 今回のカラフルゴーストバスターズではポ
ジションをとる精度がプロジェクターを使
用するうえで誤差があったためY軸、つまり
縦の座標を利用して計測している、プロ
ジェクタを利用すると若干上向きにずれが
生じるためXを軸にして回転を与える、そう
することでちょうど足元にプロジェクター
の映像がくるようになる。

16. kinectではX‐Y平面に計測された深度を計
測して、障害物の座標をXnProjectという配
列にいれておいてワールド座標の配列に変
換しています、処理効率を上げるために配
列で一度に変換している。
ワールド座標系とはkinectを原点として
縦をX軸、横をY軸、前をZ軸とした座標系
となっている。だから単純な足の上下運動
をしない運動する足のポジションを入れよ
うとするとXとZだけ使うことになる。

17. 始めX,Z軸で制御していたものを
Y軸も含めて処理するためにこのメ
ソッドを作っている。
Y軸も含めることで足が短い子供に
も対応できたりポジションをとると
きに正確に取れたりできる。

18. 参考資料
• こじ研
https://www.ei.tohoku.ac.jp/xkozima/lab/ofTutorial2.html