HoloLensでコンテンツを操作する方法 - Gaze And Dwell -

takabrz1 大阪駆動開発 Takahiro Miyaura
HoloLensでコンテンツを操作する方法
Gaze And Dwell

宮浦恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
最近はこちらが中心
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 1
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です

今日お題
2020/12/15 Copyright © 2020 Takahiro Miyaura 3
Mixed Reality Dev Days Japan裏話
 英語セションの日本語訳の添削をMVPsでやっていた
 結構日本語に訳すると不可解
 サニティーチェック→ダメ出しでチェックとか・・・
 そんな中Dwell is 何？で盛り上がった
Dwell自体はHoloLens でコンテンツ操作の1要素
今日はHoloLensでの操作についての整理とgaze and dwellの話

本題の前に今回も少し紹介

MicrosoftのMixed Reality向けライブラリ群
用途/プラットフォームで提供
Unity向け
クロスプラットフォーム
最新バージョンはV2.5.1
UX部品
イベント制御系 etc…
Unity向け
UXデザインのサンプル
Periodic Table
Lunar Module
Surface
Unreal向け
サブセットがいくつかある
第一弾はUXTools for Unreal
 最新はV0.10.0
 Unity向けのライブラリと同等を目指す

Mixed Reality Toolkit V2 for Unity
概要
Unity向けOSSライブラリ
OpenVR HMD
（HTC Vive / Oculus Rift）
iOS/Android
(ARFoundation)
HoloLens HoloLens 2
Windows Mixed Reality HMD
Oculus Quest 2
 Cross Platformでの開発可能
 XRデバイスにおけるUnity開発の基本的な構成要素を提供
 ラピッドプロトタイピングを実現
 コア機能が交換可能な拡張性の高いフレームワーク

Mixed Reality Toolkit V2
概要
XRデバイスの固有機能を含め様々な補助機能を提供

Mixed Reality Toolkit V2
概要
UX building blocks : 組込み済みのUX部品群

HoloLensでの操作方法のおさらい

HoloLens 2でできる入力系操作
HoloLens 2で使える入力
 Head Gaze
 Eye Tracking
 Hand Tracking
 Gesture(AirTap等)
 Voice Command
組合わせて操作する

操作の確定
対象を決めるための操作
HoloLens 2で使える入力
 Head Gaze
 Eye Tracking
 Hand Tracking
 Voice Command
組合わせて操作する

Head Gaze & Gesture | VoiceCommand
 いわゆるHoloLens 1 Style
 カーソルを頭の動きで操作
 確定はGesture か Voice
操作対象 : Near / Far
参考:https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit-
head?WT.mc_id=MR-MVP-5003104

Eye Tracking & Gesture | VoiceCommand
 視線入力を活用
 カーソルを視線で操作
 確定はGesture か Voice
参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit-
eyes?WT.mc_id=MR-MVP-5003104
操作対象 : Near / Far

Hand Tracking
 ハンドトラッキング機能を利用
(モーションコントローラも含)
 対象を直接操作
 押して確定（ボタンの場合）
参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/direct-
manipulation?WT.mc_id=MR-MVP-5003104
操作対象 : Near

本題のGaze And Dwellの話

Gaze And Dwell
Dwell is 何？
 意味：住む、居住する、ゆっくり考える、思案する・・・
Gazeでの選択を確定する際に思考する要素を入れる

Gaze And Dwell
Gazeのみで選択と確定をするための仕組み
 注視によるタイムラグを活用
注視により処理が行われる

Gaze And Dwell
MRTKではExperimentalで提供
 PackageManager経由でセットアップ可能です

Gaze And Dwell
Dwell Profile - 確定までのタイムラグ設定
 Trigger Pointer Type
ポインターの種類(Head, Eye etc…)
 Dwell Intent Delay
確定の評価に移行するまでの時間
 Dwell Start Delay
確定評価開始時間
 Time To Complete Dwell
確定までの注視時間
 Time To Allow Dwell resume
注視を初期化するまでの時間

Gaze And Dwell
DwellHandler -状態毎の発生イベント制御
 Dwell Intended
確定評価に移行時に発生
 Dwell Started
確定の評価の移行時に発生
 Dwell Completed
確定評価の完了時に発生
 Dwell Canceled
確定評価のキャンセル時に発生

Gaze And Dwell
動きのイメージ
Intent time dwell time
Gazeを
当てる
確定の意思が
あると判断確定と判断
経過時間
Dwell start time
確定判定開始
Dwell Intended Dwell Started Dwell Completed
この区間でGazeを外すと
Dwell Canceled(はず)

まとめ
HoloLens 2の入力方法
体験に合わせて色々とチョイス
快適なMixed Reaity コンテンツをみんなも作ってね。
 Head Gaze
 Eye Tracking
 Hand Tracking
 Voice Command

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ

HoloLensでコンテンツを操作する方法 - Gaze And Dwell -

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à HoloLensでコンテンツを操作する方法 - Gaze And Dwell -

Similaire à HoloLensでコンテンツを操作する方法 - Gaze And Dwell - (20)

Plus de Takahiro Miyaura

Plus de Takahiro Miyaura (18)

HoloLensでコンテンツを操作する方法 - Gaze And Dwell -