Recommandé
Contenu connexe
Plus de Akihiro Ueyama
Dernier
Dernier (11)
MixedReality250から見るHoloLensとImmersiveヘッドセットの連携
- 14. Academy250から見る HoloLensとWindowsMR デバイスの連携 上山 晃弘 (株式会社ホロラボ) Mixed Reality Immersiveヘッドセット
- 15. 自己紹介 • 上山 晃弘 • 株式会社ホロラボ プログラマー • HoloLensのアプリ開発を仕事と趣味でしてます • 好きなことしてます • Twitter : @akihiro01051 • 2016年4月 社会人になる • 2017年3月 ホロラボに転職
- 16. 目次 • MRの確認 • HoloLensの特徴 • Immersiveヘッドセットの特徴 • 開発したい • Academyの紹介 • MixedRealityToolkitの紹介 • 連携させたい • Mixed Reality250の紹介 • 利用技術の説明 • 複数の人に見せたい • SpectatorViewの紹介
- 17. MixedReality(MR)の確認 • MRの定義 • Virtual Reality(VR) : 没入型体験 • Augmented Reality(AR) : 拡張型体験 • Mixed Reality(MR) : VR,ARを含めた新しい現実体験
- 18. • HoloLensとWindows MRデバイスの位置 • https://developer.microsoft.com/en-us/windows/mixed-reality/mixed_reality
- 20. HoloLensの特徴 • シースルー表示 • 透けて見える • スタンドアロン動作 • どこまでも動ける • ジェスチャーを認識 • 頭にかぶるだけ • SpatialMapping利用 • オクルージョンできる
- 22. • つらい点 • 視野角が狭い • 大きいオブジェクトはつらい • まぶしい環境では表示物が見えない • 外がつらい(特に夏) • 重量がある • 長時間はつらい • CPUの性能は非力 • ハイポリモデルはつらい
- 23. Immersiveヘッドセットの特徴 • インサイドアウト型 • 外部カメラ不要 • モーションコントローラー付属 • 良いとこ取り • EdgeのWebVR機能に対応 • ブラウザからすぐに体験 • つなげば動く • USBとHDMIだけで楽
- 25. • いまいちな点 • デバイスのみではビデオシースルーできない • 別途カメラがあればできるかも • Spatialmapping利用不可 • 外の障害物が見えない • 酔いやすい(コンテンツによる) • 酔いやすい(コンテンツによる)
- 27. • 開発環境 • Windows10 Fall Creatores Update(1709) • Visual Studio 2017 • Unity 2017.2.0f3
- 29. • Holograms 100 • Unityでの開発方法 • Holograms 101E • HoloLensエミュレーターでの動作方法 • Holograms 101 • HoloLens実機上での動作方法
- 30. • Holograms 210 • Gaze機能の実装 • Holograms 211 • Gesture機能の実装 • Holograms 212 • 音声認識機能の実装
- 31. • Holograms 220 • 空間音響機能の実装 • Holograms 230 • Spatial mapping機能の実装 • Holograms 240 • Sharing機能の実装
- 32. • Mixed Reality 213(未) • モーションコントローラーの利用 • Mixed Reality 250 • HoloLensとImmersiveヘッドセットの連携
- 34. • HoloLens,Immersiveヘッドセットで利用できる機能 Input Sharing Spatial Sound UX Controls Utilities Build
- 35. • HoloLensのみ利用可能 Spatial Mapping Spatial Understanding • Immersiveヘッドセットのみ利用可能 Boundary • AcademyでもMRTKを利用
- 37. Mixed Reality250の紹介 • HoloLensとImmersiveヘッドセットを連携 • https://developer.microsoft.com/en-us/windows/mixed-reality/mixed_reality_250
- 39. • Immersiveヘッドセットがプレイヤー • HoloLensは俯瞰視点で観察 • プレイヤーは発射場まで移動 • 扉のロックを開いてシャトルを発射
- 41. • Spatialmapping • WorldAnchor • Input • Sharing • デバイス切り分け • Log出力
- 42. Spatialmapping
- 43. • HoloLensが認識した現実世界の形状をUnityで取得 • MRTKから手軽に利用可能 • 現実世界の障害物に3Dモデルが遮られる表現が可能
- 44. • Unityで利用 • MRTKのSpatialmappingで簡単に利用可能 • SpatialMappingManager.cs • 取得開始 • StartObserver() • 停止 • StopObserver()
- 45. • つらいところ • 自動でColliderが挿入される • 壁の向こう側のオブジェクトに触れない
- 47. • SpatialmappingにColliderをつけない方法 • MRTKのSpatialMappingから • SpatialMappingSource.cs 116行目の後に • surfaceObject.Collider.enabled = falseでColliderを無効化する • ただし • Mixed Reality250にはsurfaceObject.Colliderは無いです
- 49. • デバイスポータルから確認可能
- 50. • Unityでの利用 • Worldanchor取得 • WorldAnchorStore.GetAsync()よりWorldAnchorStore取得 • 検索 • WorldAnchorStoreのGetAllIds()より登録したAnchorの名前を検索 • 復帰 • WorldAnchorStoreから登録された名前をLoad() • WorldAnchorがアタッチされたGameObjectの位置が復帰 • 登録 • GameObjectにWorldAnchorをアタッチ • 名前とアタッチされたWorldAnchorをWorldAnchorStoreにSave() • 再起動後でも復帰処理でしっかり再設置
- 51. • 移動 • 一旦WorldAnchorStoreから対象の名前をDelete() • 移動後に再度登録を行う • 削除 • WorldAnchorStoreから対象の名前をDelete() • すべてのWorldAnchorを削除する場合はWorldAnchorStoreをClear()
- 52. • つらいところ • 埋まる • 認識がずれる場合あり • 例 部屋の対角から起動した場合 • Mixed Reality250の島は3m先 • 部屋はそんなに広くない
- 53. • Sharing時のWorldAnchor位置合わせ • Worldanchor設置時の情報を他のHoloLensに共有 • Anchor周辺の形状情報 • 受信したHoloLensは受信情報と自分の形状情報から再設置を行 う • 一番近い形状情報の位置に設置
- 54. うまくいかない
- 55. • 原因 • 送信に失敗する • Anchor周辺の形状情報の変換に失敗 • 受信に失敗する • 形状情報の復元に失敗 • 各HoloLensが認識している形状が異なる • 人や物の位置，自分の位置も異なる • 再設置に失敗する • 形状の似た全然違う場所に設置されてしまう
- 56. 簡単に位置合わせしたい
- 57. • 位置共有には画像認識がいい • Vuforiaのマーカー認識 • 位置，方向が取得可能 • Unity 2017.2から標準で利用可能 • マルチプラットフォーム対応 • 各HoloLensが固定されたマーカーを認識 • マーカーを基準点として共有オブジェクトを配置 • 基準点からの相対位置の共有で位置合わせができる
- 59. もっと細かくInputを取りたい
- 60. 実は • HoloLensのハンドジェスチャー • ハンドトラッキングできる • AirTapの認識が可能 • 両手もいける • Immersiveヘッドセットのモーションコントローラー • コントローラーのポジショントラッキングもできる • もちろん両手も • ボタン入力も取得可能 • Unityでの利用 • 共通関数で利用可能
- 61. • InteractionManagerに各イベントを登録することで取得可能 • InteractionSourceDetected • 手の認識開始すると呼ばれる • InteractionSourceUpdated • 手を認識していると呼ばれる • InteractionSourceLost • 手をロストすると呼ばれる • InteractionSourcePressed • AirTap (ボタン押下)すると呼ばれる • InteractionSourceReleased • AirTap (ボタン押下)をやめると呼ばれる
- 62. • ただし • HoloLensのハンドジェスチャー • 人差し指を立てた状態でないと認識しない • Immersiveヘッドセットのモーションコントローラー • 途中で接続を切ってもわからない • Unity上ではコントローラーはロストしない(HoloLensとは異なる) • Unity2017.2からnamespaceから大きく変更されている • 関数名と引数が変更になってた • UnityEngine.VR.WSA.Input → UnityEngine.XR.WSA.Input
- 63. Sharing • MRTKではUNETとSharingServerを利用 • Mixed Reality250ではUNETを利用 • 各デバイスの位置とアクションの共有を行っている
- 64. • UNET • Unityが提供 • ルーム作成，マッチグ，gameobject共有など多彩な機能を提供 • 外部サーバーを不要にできる • 通信しているデバイスの一台がサーバーの代わりになる • マルチプラットフォームで利用可能
- 65. • Sharing Server • MRTKが提供 • サーバーを必要とする • SharingService.exeでサーバー起動 • 標準でオブジェクトの位置や音声が共有可能
- 66. 自前で実装したい
- 67. • 自前で実装する場合 • HoloLens, Immersiveヘッドセット以外でも動かしたい • スタンドアロン(.exe),Editor実行とか • Thread内，Task内で通信したい • 細かい通信制御をしたい • C#実装でもUWPは利用できる関数が異なる
- 68. • TCP • UWP以外 • TcpClientとTcpListnerで実装 • Threadで制御可能 • UWP • StreamSocketとStreamSocketListenerで実装 • Taskで制御可能 • UDP • UWP以外 • UdpClientで実装可能 • Threadで制御可能 • UWP • DatagramSocketで実装可能 • Taskで制御可能
- 69. デバイスの切り分け • UWPではtaskが使える • Unity5.x系ではtaskが使えない • UnityのBuildSettingからPlatformをUWPにするとMixedReality ポータルが立ち上がってしまう • Editor上で手軽に確認したい • Editor上で動作してUWP上で動作しない関数がある • UWP上で動作してEditor上で動作しない関数がある
- 70. • HoloLensとImmersiveヘッドセットの切り分け • Mixed Reality250のskyboxの切り替え • HoloLensはsolidの黒を適応, Immersiveヘッドセットはskybox適応 • MixedRealityCameraManager.cs 55行目 • HolographicSettings.IsDisplayOpaque • trueならWindows MRデバイス • falseならHoloLens
- 71. スタンドアロンでも動かしたい
- 72. • UWPとUWP以外の切り分け • #defineで切り分け • UNITY_UWP • UNITY_STANDALONE • UNITY_EDITOR • 組み合わせて動作させたい環境にあわせる #if UNITY_EDITOR Unity Editorで動作させたい処理 #elif UNITY_STAMDALONE スタンドアロンビルド時に動作させたい処理 #elif UNITY_UWP UWPアプリの時に動作させたい処理 #else それ以外で動作させたい処理 #endif
- 73. Logを確認したい • Unity内でのlogの取得 • BasicSharingStatus.cs 28行目 • Application.logMessageReceivedThreaded • 関数登録でlogイベントを受け取る • 取得できる引数は • string Message : ログの文字列 • string stack : スタックトレース • LogType logType : ログのタイプ(errorとかwarning)
- 75. SpectatorView • HoloLensと連携することで第三者に表示物を共有 • 高品質のカメラをパソコンと接続し映像を合成 • https://developer.microsoft.com/ja-jp/windows/mixed-reality/spectator_view
- 76. • Unity Editor上で動作 • Sharingが必要 • カメラとHoloLensを固定 • カメラとHoloLens相対位置を測定 • カメラの映像をパソコンで取得 • カメラに固定されたHoloLensの位置情報を取得 • 測定されたカメラとHoloLensの相対位置からカメラから見たUnity映像を 作成 • カメラの映像とUnity映像を合成 • https://github.com/Microsoft/MixedRealityCompanionKit/tree/master/SpectatorView
- 77. • つらいところ • カメラとビデオキャプチャーの相性がある • キャリブレーションが失敗する • Unity Editor上でしか動作しない • HoloLensとwifi接続のためカメラを動かすとUnity映像がずれる • バージョンが安定しない • 動作が安定しない • 公式パッケージではWindows MRデバイスは想定されていない
- 78. まとめ • HoloLens, Immersiveヘッドセットの開発はAcademyで確認 • Mixed Reality250でデバイス連携を手軽に確認できる • デバイスの連携には複数の技術を組み合わせる必要がある • MRTKは便利