Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
Similaire à はじめようMixed Reality Immersive編
Similaire à はじめようMixed Reality Immersive編 (20)
はじめようMixed Reality Immersive編
- 1. はじめようMixed Reality - Immersive headset 編 - 株式会社ホロラボ 立原 愼也
- 2. 自己紹介 株式会社 ホロラボ プログラマ / リサーチャー デコ・シ(@Ash_Yin) 立原 愼也 経歴 2017/03 東京理科大学大学院卒 2017/04 大手電機メーカー(SE) 入社 2017/06 大手電機メーカー(SE) 退職/ホロラボ入社 運営からの注意喚起 こ の あ と 滅 茶 苦 茶 セ ッ チ ャ ク し た
- 3. 基礎編
- 4. Mixed Reality Immersive Headsetとは？ https://item.rakuten.co.jp/acer-direct/5jr03ww001/
- 5. Mixed Reality Immersive Headsetとは？ PCと対応ヘッドセットを組み合わせて複合現実を実現するもの マイクロソフトと提携したパートナー企業から販売される http://pc.watch.impress.co.jp/docs/news/1084483.htm l
- 6. Immersive Headset と HoloLens https://www.microsoft.com/ja-jp/store/d/microsoft-hololens-commercial-suite/944xgcf64z5b
- 8. HoloLensとImmersiveの比較 機能 HoloLens Immersive headset 入力 Gaze ✓ ✓ Gestures ✓ Voice ✓ ✓ Gamepad ✓ ✓ Motion controllers ✓ 空間認識機能 ワールド座標 ✓ ✓ 空間音響 ✓ ✓ Spatial Mapping ✓
- 9. Mixed Reality Headsetの特徴 項目 Oculus Immersive headset 解像度(片方) 1080×1200 1440×1440 視野角 対角110度 水平105度 自由度 6DOF 6DOF トラッキング方式 アウトサイド・イン インサイド・アウト リフレッシュレート 90Hz 90Hz アウトサイド・イン：環境に設置したセンサを利用する方法 インサイド・アウト：撮像系側のセンサを利用する方法
- 10. Mixed Reality Controller Bluetooth または 有線接続 単3電池2本/コントローラで動作
- 11. Mixed Reality Headsetの種類 Acer Windows Mixed Reality Headset with Motion Controllers $399.00 Dell Visor Windows Mixed Reality Headset with Motion Controllers $449.00 HP Windows Mixed Reality Headset with Motion Controllers $449.00 Lenovo Explorer Windows Mixed Reality Headset with Motion Controllers $449.00 https://www.microsoft.com/en-us/store/collections/vrandmixedrealityheadsets
- 12. Mixed Reality Headsetの種類 https://www.microsoft.com/en-us/store/collections/vrandmixedrealityheadsets 項目 解像度 2880 x 1600 視野角 110度 ディスプレイ 有機EL ヘッドフォン+デュアルマイクロフォンアレイ IPD調整機構付き $499.00 Samsung Odyssey Windows Mixed Reality Headset with Motion Controllers
- 15. Mixed Reality Headset 動作スペック 項目 Mixed Reality Ultra Mixed Reality OS Windows 10(RS3)Fall Creators Update, Home, Pro, Business, Education CPU Intel Core i5 (第4世代) CPU 4コア以上 AMD FX-4350 4.2Ghz 4コア以上 Intel Core i5 (第7世代) CPU, 2コア Intel® Hyper-Threading Technology 対応 RAM 8GB DDR3 8GB DDR3 Dual Channel HDD 10GBの空き グラフィクス カード NVidia GTX 965M / AMD RX 460以上のDX12対応GPU Intel® HD Graphics 620以上のDX12対応GPU ディスプレイ Windows Display Driver Model (WDDM) 2.2 ディスプレイ ポート 外部または内蔵VGA（800×600）ディスプレイ USB USB 3.0 タイプAもしくはタイプC ×1 Bluetooth 4.0 Bluetooth 4.0
- 16. Windows Mixed Reality PC Check
- 20. Mixed Reality ポータル - Cliff House - Cliff House Holograms
- 21. Mixed Reality ポータル - Cliff House - HMDやコントローラがなくともシミュ レーションすることができます Cliff Houseで使えるキー操作 ・Win: メニュー ・WASD: 前後左右(+Shiftで高速移動) ・QE: ロール ・矢印キー：ヨー、ピッチ ・スペース：クリック ・T: 境界オンオフ
- 22. Mixed Reality ポータル - Cliff House - 2Dのアプリ 3Dのアプリ
- 23. Mixed Reality ポータル - Sketchfab - 1. Sketchfab へアクセス 2. モデルを選択 3. View in VRをクリック
- 24. Mixed Reality ポータル - Sketchfab - 心 が ぴ ょ ん ぴ ょ ん す る 動 画
- 25. 開発準備編
- 26. 開発環境 ・Windows10 (Pro/Home) ・Unity 2017.2 (Pro/Personal) ・Visual Studio 2017 (Community/Enterprise/Proffesional) ・Windows Developer kit SDK 16278 ・Insider Preview Build (10/17以降はFall Creators Update) Installation checklist for immersive headsets
- 27. 注意点 - Visual Studio - Visual Studioの導入によって、動かなくなるバージョンがある Visual Studioをアップデートしたら3日間ハマった話 - Qiita @morio さんの戦いの記録 -> VS2017.15.3 対応のUnityを使う必要がある
- 28. 注意点 - Unity Beta (現在) - 先日でたUnity2017.2.0f2ではなく， Unity2017.2.0 RC MRTP を入れる http://beta.unity3d.com/download/ b9a6355603bd/download.html とにかく環境が不安定，動いたものが動かなくなったり大変
- 29. Hello Tofu!
- 30. Hello Tofu! - Editorで動かす - 何も考えずCubeを置く
- 31. Hello Tofu! - Editorで動かす - 1. Build Settingsから，Switch PlatformでUniversal Windows Platformを選択 2. SDKを10.0.16278.0に変更 3. Unity C# Projectsにチェック 4. Player Setting->XR Settingの Virtual Reality Supportedに チェックを入れる Unityを再生する
- 32. Hello Tofu! - Build - HMDを挿していれば自動でMixed Reality ポータルが立ち上がる (Bug) HMDを挿していない状態で再生 するとクラッシュする。その場合， Mixed Reality ポータルをシミュレー ションモードで立ち上げておけば動作 する
- 33. Hello Tofu! - Build - ImmersiveとHoloLensではターゲット SDKが異なる ・Immersive : 15063 ・HoloLens: 14393 そのため，ビルドする際もフォルダを 分けることをオススメする 例) ImmersiveApp, HoloLensAppなど
- 34. Hello Tofu! - Build - ImmersiveAppフォルダからソリューションファイルを開 き，図のように設定してビルドする(Ctr+F5) 成功時画面
- 36. Mixed Reality Toolkit Mixed Reality Toolkitは、Microsoft HoloLensとWindows Mixed Reality headset を対象としたアプリケーションの 開発を加速するためのスクリプトとコン ポーネントの集まりです。このプロジェ クトは、複合現実感アプリケーションを 作成するための参入障壁を削減し、皆が 成長できるようコミュニティに貢献する ことを目的としています。 MixedRealityToolkit – Unityは MixedRealityToolkitをベースとしたコード を使用しており、Unityでの利用を容易に します。
- 38. Mixed Reality Toolkit MixedRealityToolkit-Unityにアクセス1. 2. BranchesからDev_Unity_2017.2.0 を選択 3. Clone or DownloadからDownload
- 39. Mixed Reality Toolkit ディレクトリ Immersive/HoloLens 内容 AdaptiveQuality Immersive 動的クオリティの取得とViewPort設定 ColorPicker HoloLens カラーピッカー FastConfigurableShader 両方 高速なシェーダーサンプル GameControllerManipulator Immersive ゲームコントローラーでのオブジェクト操作 GamePad Immersive ゲームコントローラーでのオブジェクト操作 GazeRuler HoloLens Gazeを使った計測 InteractiveElements HoloLens Gestureを使ったインタラクティブな3DオブジェクトとUIのサンプル Medical HoloLens 医用画像データをインポートし、HoloLensでそれを表示および操作する方法 MotionControllers-GrabMechanics Immersive モーションコントローラを使ったオブジェクトの操作 Prototyping HoloLens 高速にインタラクティブなプロトタイプを作るためのコンポーネント群 SavingSpatialMeshes HoloLens SpatialMappingの保存 SceneLauncher HoloLens シーンランチャー SpatialMappingComponent HoloLens SpatialMappingRendererとSpatialMappingColliderを使ったサンプル SpatialUnderstanding HoloLens 壁や床を認識するSpatilUnderstandingのサンプル Text HoloLens HoloLensに適した文字表示のサンプル HoloToolkit-Examples (Mixed Reality Camera を使っているかどうかで大別)
- 40. Mixed Reality Toolkit ディレクトリ Immersive/HoloLens 内容 Boundary Immersive 動的クオリティの取得とViewPort設定 Input 両方 Gesture/GamePad/HandControllerを使った入力サンプル Sharing HoloLens 高速なシェーダーサンプル SpatialMapping HoloLens SpatialMapping を使ったサンプル群 SpatialSound HoloLens 空間音響のサンプル UI 両方 異なるデバイス間での使いやすさを向上させるためにオブジェクトを自動的に 拡大/縮小する Utilities 両方 HoloToolkit-Tests (Mixed Reality Camera を使っているかどうかで大別)
- 41. Mixed Reality Toolkit - AdaptiveQuality - 低負荷 高負荷 高負荷ではQualityが低下し, ViewPortのサイズが変更される →文字がぼやけるようになる
- 42. Mixed Reality Toolkit - AdaptiveQuality - AdaptiveQualityExample GpuTiming.cs Gpu call 時刻を計測するコンポーネント GpuTimingCameraコンポーネントをアタッチすると特定のカメラのコスト を計測できる GpuTiming.GetTime（ “Frame”）を使用して時間を取得できる
- 43. Mixed Reality Toolkit - AdaptiveQuality - AddaptiveQuality.cs AddaptiveViewport.cs GPU時間を計測して，アプリのQualityレベルの上げ下げを動的 に行い，変更イベントを発火。イベントをリッスンして，高負 荷のコンポーネントの有効/無効を操作して，安定したフレー ムレートを維持の補助をする。 Qualityの変化をリッスンし，指定されたデータに従って ViewPortを調整する。
- 44. Mixed Reality Toolkit - AdaptiveQuality - AddaptiveViewport.csを参考にクオリティごとの処理を組むとよい
- 45. Mixed Reality Toolkit - Boundary - Immersiveデバイスで床を描画するツール。 オブジェクトが境界内にあるかを確認する機能もある 境界内にあるか 確認したいオブジェクト 境界
- 46. Mixed Reality Toolkit - Boundary - 境界内 境界外
- 47. Mixed Reality Toolkit - Boundary - BoundaryTest.cs
- 48. Mixed Reality Toolkit - Boundary - BoundaryManager.cs 起動！ Immersive RoomScale (0,0,0) HoloLens Stationary (0,0,0)
- 49. Mixed Reality Toolkit - Input Gamepad - Holotoolkit-Tests/Input/Scenes/GamepadTestHolotoolkit-Examples/Gamepad/XboxControllerExample オブジェクトの移動や回転 テレポーテーションの操作
- 50. Mixed Reality Toolkit - MotionControllers-GrabMechanics -
- 52. Mixed Reality Toolkit - Camera - HoloLensCameraに代わるもの テレポーテーション機能がついている
- 53. Mixed Reality Toolkit - Camera - HoloLensCameraに代わるもの Opaque Display Settings: Immersive用の設定 Transparent Display Settings: HoloLens用の設定
- 54. Mixed Reality Toolkit とりあえずこれを入れよう、3種のコンポーネント MixedRealityCameraParent: CameraとBoundary Managers: Gesture, GamePad, HandControllerの入力を扱うコンポーネント Cursor: Gazeカーソル HTKを直接いじるような実装をしていなければ、これらPrefabを入れ替える だけでMRTK2017.2の環境に移植できます (ハズです) むしろUWP対応が大変。。。。
- 55. HoloLensとの協調作業
- 56. Mixed Reality 250: Sharing mixed reality ビルド済みプロジェクト(HoloLens/Immersive) Mixed Reality 250 翻訳 概要から第1章まで - 戯言日記 Windows Mixed Reality - Acer and HoloLens Side-By-Side - YouTube
- 57. Acer VR+hololens firesystem BIM and repair simulation https://www.youtube.com/watch?v=_CYXXba879M&feature=share
- 58. おまけ
- 59. 無限に歩きたい編 自作ダミープラグ 55円でダミープラグを作ってVirtualDes ktopのデスクトップを広げた話 - Qiita MSI ゲーミングPC VR One VR One 7RD- 010JP 歩き回るためのアイテム ディスプレイを取っ払う アイテム Immersive headset 現実を忘れるアイテム
Notes de l'éditeur
- これは先日公開された動作要件です。 そこまでハイスペックなPCではなくとも、動作する最小仕様Mixed Realityとハイエンドな体験を得るためのUltraの2パターンがあります 違いとしては表示フレームレートがUltraが90Hzに対して、一方は60Hz、その上グラフィッククオリティクオリティ、同時アプリ起動数などに違いができてきます Fall Creators 以降と書いてはありますが、HMD単体ならCreators Updateでも動作はします
- お使いのPCが動作可能かは、Windows Mixed Reality C Checkというストアアプリで確認することができます
- セットアップに進むと、
- セットアップに進むと、
- 無事セットアップが終わるとCliff House と呼ばれる空間に移動します
- この例は、AdaptiveQualityとAdaptiveViewportを使用して適応型ビューポート解像度を実装する方法を示しています。パーティクルエフェクトを表示すると、gpuコストが増加し、品質が低下し、ビューポートのサイズが変更されます。 小さなビューポートでは、テキストがぼんやりとしていることに気づくでしょう。粒子から離れて見て、品質は正常に戻ります。ミックスリアリティヘッドセットを使用して試してみてください。