2014のデベロッパーサミットで登壇した際に使ったスライドをSlide Share用にモディファイしたものです。 加速度センサー、タブレットのカメラ、Intel PerC等のセンサーを使ってコントロールするアプリケーションの企画、開発をしてきた経験から見えて来た事です。

1. モーションコントロールコンテンツの
実装から見えて来た事
Naoji Taniguchi

2. 自己紹介
谷口 直嗣

3. フリーランスで
インタラクティブコンテンツ、
スマートフォンアプリ、
の企画、ディレクション、開発をしております。
目指す所はIT界のマイルス・デイビス
方向を決め、仲間を集め、コードを書いてプレイ
ヤーとなり、セッションのように仕事をする。

4. 最近の仕事の紹介
Ricoh Thetaのプロモーション展示、CES&NY

5. 最近の仕事の紹介

6. 最近の仕事の紹介

7. 最近の仕事の紹介

8. 最近の仕事の紹介

9. 最近の仕事の紹介

10. モーションコントロール
と私

11. 2007年、とっと塔
http://www.nicolabo.com/jp/specials_v.htm
加速度センサーが搭載されたゲームコントローラー
を振っておさるのキャラクターをジャンプさせる
ゲーム、Central East Tokyoで、プロジェクションさ
せてゲームをプレイしてもらう展示をした。

12. 2008~2010年
Wiiのダンスゲーム
!
コントローラーを持って画面のキャラクターにあ
わせて踊るだけのシンプルなゲーム

13. 企画+ディレクションだったが、プロジェクト前半
はどんなダンスの動きがゲームに使えるかをダン
サーと検証しながら、振り付けを考えてた。
その間はキーボード触らずにコリオグラファー
状態でした。

14. 2012年
未来の車のUIプロト#1
!
某自動車メーカーのITの研究所でのプロジェクト

15. 写真＆ムービーは出せないので

16. 2013年
未来の車の
UI/UXプロト#2
!
某自動車メーカーのITの研究所でのプロジェクト

17. 写真＆ムービーは出せないので

18. 2013年
ABC Cooking Studio
実証実験

19. http://www.youtube.com/watch?v=3e_-TiaZqsI
ABC Cooking Studio のタブレットを使った
新しいスタイルの実証実験の為の
アプリケーション。
!
料理のビデオ教材を、
ジェスチャーコントロールで操作。

20. 2013年
Ricoh Theta
ショールーム用デモ

22. http://www.youtube.com/watch?v=ELVNLbUNzb0
Thetaの全天球イメージをLeap Motionを使って指先
の動きでぐりぐり回せるデモ

23. 2013年
Intel PerC デモ

24. http://www.youtube.com/watch?v=mRquso-LDlc
Intel PerCで手の動き、手の形を認識して操作する
写真ビューワー、Intel Software Innovation Forum
にて展示

25. !
モーションコントロール
コンテンツの構造

26. !
Image,
Depth Image,
Acceleration,
Gyroscopic....
Data

27. !
Position of finger,
Bone,
Direction..
Model / Vector

28. !
Rotate,
Stop, Forward,
Next Page
Command

29. UI / Interaction
!
Animation,
Icon,
Sound,
Feedback

30. UX / Contents
!
Cooking Video,
Game,
Demo

31. UX / Contents
UI / Interaction
Command
Model / Vector
Data

32. !
このモデルの上下を行ったり来たりし
ながら作っています。

33. モーションコントロール
あるある

34. 遠心力振り切り問題

36. 振る動作をすると遠心力で簡単に
加速度センサーの計測範囲を
超えてしまう
そうなったらどっち向きかも取得不能

37. 握り方問題

39. 握り方も人それぞれ、握り方によって
加速度の向きは変わってくる

40. トラッキング待ち問題

42. トラッキング開始に少し時間がかかる
Kinectの骨格、PerCのハンドサイン

43. 準備動作問題

45. 右への動きをする場合に一度左に手が動く
マウスだったら浮かせればいいが、
モーションコントロールだどっちのモードか
判定がつかない
さらにこれをハンドサインとかでモードコントロール
すると、ハンドサインの認識にも時間がかかりドツボ

46. ライティング問題

48. 赤外線使ったデバイスは
ライティングの熱に弱い

49. 腕しんどい問題

51. 腕を上げたままにするので、
長時間の操作は疲れる。

52. 操作系確立されてない
問題

54. デモを触ってもらうと各人のそれぞれの脳内
のジェスチャーで動かそうとする
実装してないのに、
ピンチアウトをやってるとか。

55. ガングロ問題

57. あまりに色が黒いと画像ベースの
顔認識が効かない

58. オレだけ世界一問題

60. 操作系考えた
実装した
ばっちり動いた！
他の人に触ってもらった
まるで操作できなかった！

61. 使って気持ちのいいUI

63. 1の入力で5~10ぐらいの反応をする
反応も緩急をつける

65. フィードバックは派手目に
入力に応じた音+アニメーション

67. とにかく反応させる
人様のコンテンツですが、
カグラは手を動かすと、
どこかの楽器が即座に鳴る

68. センサーの特性を理解しつつ、操作系
もデザインしながら、コンテンツのベ
ストマッチが大切

69. これからの個人的
NUIキーワード

70. ラスト30cm

71. ちょっと移動すれば手が届くけど
めんどくさい
!
ご飯食べながらPC、タブレット
使うとか。

72. プロジェクション

73. 大きくプロジェクションされた
コンテンツは画面の中に入る
感覚があるのでジェスチャーコントロー
ルがしっくり来る。

74. タイルから１画面へ

75. ジェスチャーでタイルを選ぶのは、あ
んまり気持ちがよくない。
!
ジェスチャーコントロールに合わせた
さらに操作単位の大雑把なコンテンツ
レイアウト

76. Robotics

77. 巨人達の動き

79. Intel PerC

80. Microsoft Kinect V2

81. Sport X Sensor

84. スポーツのビデオゲーム化、データ化が進みそうな予感。
記録したデータを元にコンピューターで対戦とか、Google Glass的なウェ
アラブルデバイスと組み合わせて、過去の自分や仮想の相手と対戦とか。
!
サッカーボールにセンサーを仕込んで、選手のスパイクにセンサーを仕込
んで、ユニフォームにセンサーを仕込んでサッカーの試合のデータを蓄積、
それを元にリアルの試合データからゲームにフィードバック、試合のデー
タを解析すると、コンピューター上で試合のシミュレーションなんかも今
後可能になりそう。

85. Tokyo Motion Control Network

86. アイデアソンやります！

88. 神戸大学杉本さんを招いて、医療の世界でのセンサー
活用事例、問題となっている事をヒアリング、
!
Tokyo Motion Control Networkでアイデアソンやりま
す。実現可能そうなアイデアはハッカソンに繋げます。

89. Thank You!