Contenu connexe
Similaire à OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~
Similaire à OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~ (20)
Plus de Takahiro Miyaura (16)
OpenXR + XR Interaction Toolkit使ったHoloLensコンテンツ開発検証 ~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~
- 1. takabrz1 大阪駆動開発 Takahiro Miyaura
OpenXR + XR Interaction Toolkit
使ったHoloLensコンテンツ開発検証
~ (私が)完全に理解できたらちゃんと作れて、いろいろ話できるはず編 ~
2022/03
Kobe HoloLens Meetup vol.5
- 2. 宮浦 恭弘 (Miyaura Takahiro)
大阪駆動開発(とHolomagicians)コミュニティに生息
HoloLens日本販売してからxR系技術に取組む
普段はよくMixed Reality Toolkitに関する調査している
新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
リリース機能調べたり・・・
面白い機能使ってみたり・・・
新しい実験してフィードバックしたり・・・
最近はこちらに
Come Back気味
(貢献領域:Mixed Reality)
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です
と思ったらDigital Twins
- 4. Mixed Reality Toolkit V3について
詳細が知りたい人はアーカイブへ
Tokyo HoloLens ミートアップ vol.29
~HoloLens日本上陸五周年記念!~
2022/01/19 Copyright © 2022 Takahiro Miyaura
動画を見たい方は・・・
HoloLens ミートアップのアーカイブは
Conpass等で後日共有予定
4
Microsoft YoonさんからのV3に関する情報
経緯
アーキテクチャー
リリース計画
Etc…
- 5. Mixed Reality Toolkit V3について
- ロードマップ
2022年春~夏にPublic Preview→その後リリース予定
2022/01/19 Copyright © 2022 Takahiro Miyaura 5
Development
Now
• Port core UX building blocks
• Internal Validation
• Performance Analysis
Public Preview
Spring/Summer ‘22
• OpenXR
• New Architecture based on XRI
• New Mixed Reality Design
Language
• Independent Subsystems
• UI Theme System
• Data Binding
• Collection Navigator
• Volumetric Layout Tools
Public Contributions
- 6. Mixed Reality Toolkit V3について
- アーキテクチャ
フィードバックと業界標準のサポート
2022/01/19 Copyright © 2022 Takahiro Miyaura 6
○非MRTKのコードと容易に統合可能
○独立したサブシステム
○MRTK V2を使いながらMRTK V3へ移行が可能
○エンタープライズ規模に対応したコンポーネント
○トクロスプラットフォームデバイスのサポー
○業界標準のサポート(最小要件の変更)
Unity XR Interaction Toolkit(XRI) OpenXR Unity 2020.3 LTS
xRコンテンツ開発を簡素化することを
目的としたクロスプラットフォームXR
体験を実現するための仕様およびSDK
xRコンテンツ開発を実現する3D開発プ
ラットフォーム
xRデバイスとコンテンツのInteraction
を抽象化しデバイス固有の実装を隠蔽
かすることでクロスプラットフォーム
開発を支援するための開発キット
- 7. Mixed Reality Toolkit V3について
- アーキテクチャ
使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造
2022/01/19 Copyright © 2022 Takahiro Miyaura 7
Theming / Branding
Data Binding
MRTK(No dependencies)
Volumetric Layout Accessibility
MRTK
Core UX
(Buttons, sliders, etc)
MRTK Interaction Layer
(Pointers, Gaze,
Stateful interactions)
Input Simulator
MRTK Subsystems
(Hands, Performance data, Speech, etc)
Tools
(Build Window, etc)
XR Interaction Toolkit
Input System XR / AR Subsystems
OpenXR / Microsoft Extentions
Unity
Visualizations
(Spatial Mesh, Performance
Monitor, Boundary)
- 8. Mixed Reality Toolkit V3について
- アーキテクチャ
使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造
2022/01/19 Copyright © 2022 Takahiro Miyaura 8
Theming / Branding
Data Binding
MRTK(No dependencies)
Volumetric Layout Accessibility
MRTK
Core UX
(Buttons, sliders, etc)
MRTK Interaction Layer
(Pointers, Gaze,
Stateful interactions)
Input Simulator
MRTK Subsystems
(Hands, Performance data, Speech, etc)
Tools
(Build Window, etc)
XR Interaction Toolkit
Input System XR / AR Subsystems
OpenXR / Microsoft Extentions
Unity
Visualizations
(Spatial Mesh, Performance
Monitor, Boundary)
【ポイント2】
Unityの標準の手段が
土台になっている
【ポイント1】
OpenXRが基本
- 9. 本日のお題
OpenXR + XR Interaction Toolkitの話
実際にHoloLens2向けにサンプルを構築
OpenXRのみでの開発(各種トラッキング、イベントの制御)
OpenXR + XR Interaction Toolkitでの開発
と言いながらXR Interaction ToolkitのVRサンプルをコンパクトにして設定方法を調べた
2022/02/16 Copyright © 2022 Takahiro Miyaura 9
作ってみて気づいたことや、それぞれの話を簡単に。
なお、空間マッピングはまだ(ちょっとハードル高いw)
- 15. OpenXRだけでHoloLens 2コンテンツ作る
Tracked Pose Driverでデバイス操作と紐づけ
Player Inputでデバイスのアクションと処理を紐づけ
2022/02/16 Copyright © 2022 Takahiro Miyaura 15
【結構実装しないといけないです】
※デバイスのトラッキングまでは実装不要
オブジェクトの制御は要実装
手を認識→ハンドレイを表示
ハンドレイがオブジェクトに衝突→オブジェクトを選択
タップ→オブジェクトの色を変える
- 16. OpenXRだけでHoloLens 2コンテンツ作る
カメラ6DOF設定の例
Tracked Pose Driver(New Input System)をMainCameraに追加
2022/02/16 Copyright © 2022 Takahiro Miyaura 16
Position Actionに
devicePosition [OpenXR HMD]を設定
Rotation Actionに
deviceRotation [OpenXR HMD]を設定
Tracked Pose Driverを追加するとデバイスの情報がオブジェクトに反映
OpenXR HMDなので頭の動きに追従
- 20. OpenXR + XR Interaction Toolkit
でHoloLens 2コンテンツ作る
ほとんどサンプルを流用しました。
ほとんど変更いらないです。
2022/02/16 Copyright © 2022 Takahiro Miyaura 20
- 21. OpenXR + XR Interaction Toolkit でHoloLens 2コンテンツ作る
環境
今回は以下の環境
2022/02/16 Copyright © 2022 Takahiro Miyaura 21
Unity 2020.3.8f1(リビジョン注意!時々HoloLensに致命的なバグあり)
Microsoft OpenXR Plugin 1.3.1 ※Mixed Reality Feature Toolでセットアップ
XR Interaction Toolkit 2.0.1
Visual Studio 2019
XR Interaction Toolkitのサンプル「Starter Assets」を流用
基本的にはこのサンプルの設定をHoloLens用に変えれば動きます。
- 22. OpenXR + XR Interaction Toolkit で
HoloLens 2コンテンツ作る
基本はOpenXRの時と同じ
2022/02/16 Copyright © 2022 Takahiro Miyaura 22
基本的な設定
Tracked Pose Driverでデバイス操作と紐づけ
Input Action Managerを配置
Interaction Managerを設置
ハンドトラッキング制御
Action Based Controller Manager(なくてもいいか
も)
XR Controller(Action-based)
XR Ray Interactor(ハンドレイ利用の場合)
XR Direct Interactor(つかむ動作用)
操作するオブジェクト
XR Grab Interactable
- 23. OpenXRだけでHoloLens 2コンテンツ作る
カメラ6DOF設定の例
Tracked Pose Driver(Input System)をMainCameraに追加
2022/02/16 Copyright © 2022 Takahiro Miyaura 23
考え方はOpenXRの時と一緒。
デバイスの動作を定義する方法がXRIではより共通化
Position Inputに
XRI Head/Positionを設定
Rotation Inputに
XRI Head/Positionを設定
- 27. まとめ
OpenXR + XR Interaction Toolkitの話
実際にHoloLens2向けにサンプルを構築
OpenXRのみでの開発(各種トラッキング、イベントの制御)
OpenXR + XR Interaction Toolkitでの開発
と言いながらXR Interaction ToolkitのVRサンプルをコンパクトにして設定方法を調べた
2022/02/16 Copyright © 2022 Takahiro Miyaura 27
OpenXRのみでやるのはなかなか面倒
その面を補完できるのがXRIで使い勝手はMRTKに近
い
XRIとMRTKが融合するととても便利そう
空間マッピングはいずれやっておきますw