V-SLAM機能を提供するRealSense T265を用いてOculus Goを6 DoF化する方法について、Standalone VR Meetup #2でLTを行ったときの資料です。

1. 1
Oculus Goを6 DoF化する
たった一つの冴えたやり方
mercari R4D XR / XR Researcher
Mitsunori SATOMI (@gravitino)

2. 2
XR Researcher, mercari R4D XR
Twitter @gravitino
四半世紀前に「日本で初めてVR空間の音を聞いた
男」として、VRの行く末に思いを馳せるエンジニア
里見 充則

3. 3
今年は(Comercial) VR生誕...

4. 4
ちょっとだけ、Backgroundを紹介...

5. 5
Oculus Go
(3 DoF)

6. 6
Oculus Goの限界...
「方向トラッキング」＝ 3 DoF
DoFって？
Degree of Freedom (自由度)
頭部の3軸回転のみサポート

7. 7
RealSense T265
(V-SLAM!)

8. 8
RealSenseとAndroidの相性 (H/W)
AndroidもRealSenseも通常「USBデバイス」側
(非USB Type-Cな)T265では、Androidを「ホスト」側とするために、OTGケーブル
をかませる必要有
例えば...
https://www.amazon.co.jp/dp/B005SZQCWM/
Android On-The-Go (OTG)

9. 9
RealSenseとAndroidの相性 (S/W)
RealSense SDK 2の相性... (< 2.19.0)

10. 10
LibusbとAndroid
根本原因はUVC BackendがLibusbに依存
して実装...(∵ Linuxと共通 :-q)
【朗報】v2.19.0からは専用UVC Backendが
Pull Request & Merge
librealsense/src/android/*
librealsense/wrapper/android/*
https://github.com/libusb/libusb/blob/master/android/README

11. 11
Libusb再び...
From FAQ page…
librealsense/CMake/android_config.cmake
RealSense SDK 2.19.0 also supports T265 V-SLAM devices !

12. 12
だが、しかし...
Java worldでfdを取得すれば...
あたかもUSBのDevice Fileをオープンした様に偽装して libusbをだます事が出来る。
※注意点
● The system device handle will not be closed by libusb_close().
● libusb_device_handle ⇒ libusb_device は分かるが、逆が分からない
Libusb v1.0.23-rc1 からAndroid OSからも何とか...

13. 13
Intel® Movidius™ Myriad™ 2 VPU
1. 見知らぬUSB Product ID (0x03E7, 0x8087…)
a. 通常のRealSense deviceは0x8086
b. 最初は0x03E7だけど...
2. 何故か（2度）呼ばれるonPause() & onResume()
a. AndroidのUSB attachはIntent検出
android.hardware.usb.action.USB_DEVICE_ATTACHED
b. なので1度はonPause() -> onResume()が呼ばれる
3. Intel® Movidius™ Myriad™ 2 VPU の(不可思議な)起動プロセス
a. Firmwareを（毎回）ダウンロード
b. 突然T265がリブート
c. あら不思議、USB IDが0x8087に^^)/
4. 分かったこと
a. RealSense SDKのビルド時にFirmwareがライブラリに固定
b. よって、T265とライブラリの不整合は原理的に起きない
c. だが、T265の機能アップの恩恵を受けるためには再ビルドが必要

14. 14
Oculus Go w/ RealSense T265!
Pseudo Oculus Quest (6DoF)

15. 15
Future works
(Standalone VR 4K?)

16. 16
Pico G2 4K (3 DoF)
“Featuring a 4K LCD display with 3840 x 2160 screen
resolution - The Pico G2 4K provides the user a premium
viewing experience. With a refresh rate of 75Hz and a ppi
of 818, the G2 4K has brighter and clearer picture quality.”
https://www.pico-interactive.com/g2-4k
誰か、(私に)買ってください...

17. 17
※自宅のHMD達...
1. Oculus DK1
2. Oculus DK2
3. Oculus CV1
4. FOVE
5. Google Cardboard(s)
6. PlayStation VR
7. ASUS Mixed Reality Headset
8. Oculus Go
9. Nintendo Labo Toy-con 04: VR Kit
10. [New!] Oculus Quest

18. 18
RealSense T265の変わった使い方
(w/ Looking Glass holographic display)

19. 19
自由視点Looking Glass Viewerの出来上がり

20. 20
種明かしw
● Looking GlassとIntel RealSense
T265のコラボレーション

21. 21
因みに、RealSense D435とか
(Depth Sensor)

22. 22
RealSense D435 connected by Nexus 5X

23. 23
詳細は ⇒ 技術書典6 「ぷれぜんすっ！」
お品書き
1. Mozilla Hubsではじめるお手軽ソーシャル WebVR生活 by @ikkou
2. UE4によるMagic Leap One開発手引き書 by @nakatarotaro
3. 話題のAR表現を姿勢推定で実現するための iOSアプリ開発手引き
@ash_yanagisawa
4. 今日から始める Looking Glass by @nkjzm
5. RealSense深度センサーをAndroidなUnityから使う方法 by @gravitino
6. Marvelous DesignerでVRoidの服を作る by @omeme_1231
7. Magic Leap Remote 入門 by @liketableteninu
BOOTHで電子本販売中
https://booth.pm/ja/items/1318151