Oculus Rift と Leap Motionを使って、Wigmore Hallで指揮者になってみよう！

1. 『バーチャル・コンダクター』
（指揮者になってみよう）
VRコンテンツ開発報告
2015年11月29日
矢野・八尾チーム

2. Page 2
憧れの指揮者になりきって、
フルオーケストラを指揮
各パートに指示が出せ、指
揮棒の振り方でテンポ変化
VR指揮者がお手本、その次
に自分で指揮、採点機能付
最終形（目指す姿）

3. Page 3
楽器は最大２つ（例：ピアノ・
ヴァイオリン）
腕の動きで演奏スピードが
変わる
できれば拍に合わせてタイミ
ング良くスピードを変えたい
今回の制作目標

4. Page 4
腕の動きの認識
→リアルセンス、ニューロン等
拍に応じたスピード変更
→MIDIデータを順次デコード
演奏感の表現
→音符が出てくるアニメ
技術課題と対策案

5. Page 5
腕の動きの認識
→リープモーション
手振りに応じたスピード変更
→オーディオミキサーのピッチ
⇒音の高さが変わってしまう
演奏感の表現
→音符が出てくるアニメ ＯＫ
対策結果

6. Page 6
（実行画面をご覧下さい）
開発版のデモ

7. Page 7
腕の動きの認識
→6/8など様々な拍子の認識
演奏感の表現
→バーチャル演奏者の演技
拍に応じたスピード変更
→MIDIストリーミング再生
今後の課題

8. Page 8
UnityはMIDIに非対応
→オーディオミドルウェア
「Wwise」（ワイズ）で再生可能
テンポの調整
→ WwiseのAPIで調整可能
ストリーミング再生
→ 来年Wwiseで対応見込
MIDI ストリーミング再生（１）

9. Page 9
www.klab.com/jp/technology/pdf/archive_140625.pdf
Wwiseでのテンポ調整

10. Page 10
www.klab.com/jp/technology/pdf/archive_140625.pdf
UnityでのWwise導入事例

11. Page 11
http://www.4gamer.net/games/210/G021013/20151026058/
UEでのWwise導入事例

12. Page 12
http://www.4gamer.net/games/210/G021013/20151026058/
UEでのWwise導入事例（２）

13. Page 13
腕の動きの認識
→リープモーションで実現
演奏感の表現
→手振りに応じたピッチ変更
拍に合わせたテンポ変更
→Wwiseによる実現可能性
まとめ

14. ご清聴
ありがとうございました。