More Related Content Similar to Vtuberのイベント出演を効率化する技術ワークフロー (20) More from VirtualCast, Inc. (6) Vtuberのイベント出演を効率化する技術ワークフロー6. 名前:角 真宇 (さんたーP)
分野:リアルタイム3DCG の プログラマ & モデラ
過去:3DCG モデル Web 共有サービスの開発
ex. 3DCGArts, ニコニ立体, THE SEED ONLINE
PSVR アプリ「超歌舞伎VR」の開発
仕事:リアルタイム 3DCG キャラクタに関するすべて
フォーマット (VRM), 表現 (MToon), モーキャプ (MotionHub),
イベント演出 (Unity), etc
自己紹介
6
アバター
9. 要件に応じた多様な出力システム
● バーチャルキャスト
● 自社開発 AR 撮影システム Polaris
● イベント用レンダリングシステム
○ ネットワーク非依存
○ 特殊な出力ディスプレイ
○ 多重化・冗長性
イベントにおける問題・制約
9
要件に応じた最適な出力システムを選択
最近のバーチャルキャストって
こんな絵作れるんですよ(余談)
イベント用
レンダリングシステム
11. 具体的にどういったモーションキャプチャ機器が使われる?
- HTC Vive Tracker → 安い!
- Perception Neuron → 個人でも買える値段!
- Xsens MVN → 個人では買えない値段
- OptiTrack → 個人では買えない値段
- VICON → 個人では無理な値段
HTC Vive Tracker だけはソフトウェアが無いので、自分で作るか
FinalIK や IKINEMA Orion などを使う必要アリ
モーションキャプチャ機器の選択
11
12. 光学式
- HTC Vive Tracker
- OptiTrack
- VICON
慣性・磁気センサ式
- Perception Neuron
- Xsens MVN
モーションキャプチャ機器の選択
12
技術的な仕組みから、2通りに大別できる
17. 光学式での比較
- HTC Vive Tracker
- コンシューマ用なのでとにかく安い
- 無線だけでなく有線接続もできる安心
- 機器が大きいので固定しづらい
- キャプチャスペースが不安定
- OptiTrack
- VICON よりは安価に、それでいて精度良く
- VICON
- 価格が高いから精度も最高!業界老舗のデファクトスタンダード
モーションキャプチャ機器の選択
17
18. 慣性・磁気式での比較
- Perception Neuron
- 個人で届く価格帯
- 指をトラッキングできる
- 磁場の影響を受けやすいため特に都会だと狂いがち
- Xsens MVN
- 慣性センサのみで行っているとは思えない高い精度
- 指はトラッキングできない(追加のグローブを購入する必要あり)
- 磁場の影響を受けないためいろいろな場所で安定して使える
モーションキャプチャ機器の選択
18
25. MotionHub 機能トピック
● Xsens MVN の精度向上
○ 独自ドライバ書き起こしにより、純正プラグインよりも精度向上
○ 足滑りをほぼゼロに
● 冗長構成
○ MotionHub 自体を複数の PC で起動
○ ダウンタイムを最小限
● 案件に合わせた迅速な拡張
○ 既存実装を使いまわしての素早い
新規デバイス対応
MotionHub <VC社モーションキャプチャ基盤>
25
28. 事例:2018 年 2 月 けもみみおーこく国営公式生放送
MotionHub <VC社モーションキャプチャ基盤>
28
VICON
OptiTrack
Perception Neuron
LED/画面出力
来場者参加イベント
インターネット番組
音楽ライブイベント
トークイベント
透過 OLED 出力
AR 撮影システム
VirtualCast
Finger Tracking
Fixed AnimationFile
MotionBuilder
Facial Control
HTC Vive Tracker MotionHub
Supported by
Xsens MVN
29. 事例:2018 年 2 月 けもみみおーこく国営公式生放送
入力:OptiTrack
出力:VirtualStudio(VC社イベント基盤)
VRM ワークフロー第 1 弾
初の VRM モデルはみここでした
MotionHub <VC社モーションキャプチャ基盤>
29https://live.nicovideo.jp/watch/lv310636122
30. 事例:2018 年 2 月 けもみみおーこく国営公式生放送
MotionHub <VC社モーションキャプチャ基盤>
30
リアルタイムで自由なカメラワーク お絵かきソフト演出
31. 事例:2018 年 4 月 月ノ美兎の放課後ニコ生放送局
MotionHub <VC社モーションキャプチャ基盤>
31
VICON
OptiTrack
Xsens MVN
Perception Neuron
HTC Vive Tracker
LED/画面出力
来場者参加イベント
インターネット番組
音楽ライブイベント
トークイベント
透過 OLED 出力
AR 撮影システム
VirtualCast
Finger Tracking
Fixed AnimationFile
MotionHub
MotionBuilder
Facial Control
Supported by
32. 事例:2018 年 4 月 月ノ美兎の放課後ニコ生放送局
入力:Xsens MVN + HTC Vive Tracker
出力:VirtualStudio(VC社イベント基盤)
VRM ワークフロー第 2 弾
MVN の欠点位置ズレを Tracker の
絶対位置で補正
MotionHub <VC社モーションキャプチャ基盤>
32https://live.nicovideo.jp/watch/lv312205115
33. 事例:2018 年 4 月 月ノ美兎の放課後ニコ生放送局
MotionHub <VC社モーションキャプチャ基盤>
33
視聴者とのインタラクション VR ゲームの中に入ったかのような演出
34. 事例:2018 年 4 月 ニコニコ超会議 バーチャルYouTu”BAR”
MotionHub <VC社モーションキャプチャ基盤>
34
VICON
OptiTrack
Perception Neuron
LED/画面出力
来場者参加イベント
音楽ライブイベント
トークイベント
透過 OLED 出力
AR 撮影システム
VirtualCast
Xsens MVN
HTC Vive Tracker
インターネット番組
Finger Tracking
Fixed AnimationFile
MotionHub
MotionBuilder
Facial Control
Supported by
35. 事例:2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送
MotionHub <VC社モーションキャプチャ基盤>
35
VICON
OptiTrack
Perception Neuron
来場者参加イベント
トークイベント
透過 OLED 出力
AR 撮影システム
VirtualCast
HTC Vive Tracker
インターネット番組
Finger Tracking
Fixed AnimationFile
MotionBuilder
LED/画面出力
Xsens MVN
Facial Control
音楽ライブイベント
MotionHub
Supported by
36. 事例:2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送
入力:OptiTrack
ピアノ MIDI 信号
出力:VirtualStudio (VC 社イベント基盤)
本人の手元の指の動きを映像に反映させた
ピアノ演奏を実現
MotionHub <VC社モーションキャプチャ基盤>
36
https://dwango.co.jp/pi/ns/2018/0914/index3.html
37. 事例:2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送
MotionHub <VC社モーションキャプチャ基盤>
37
38. 事例:2019 年 3 月 第 4 期叡王戦 七番勝負 発表会 ひふみちゃん
MotionHub <VC社モーションキャプチャ基盤>
38
VICON
OptiTrack
Perception Neuron
音楽ライブイベント
トークイベント
透過 OLED 出力
VirtualCast
Xsens MVN
HTC Vive Tracker
インターネット番組
Finger Tracking
Fixed AnimationFile
来場者参加イベント
MotionBuilder
Facial Control
AR 撮影システム
LED/画面出力
MotionHub
Supported by
39. 事例:2019 年 3 月 第 4 期叡王戦 七番勝負 発表会 ひふみちゃん
● モーショントラッキング
○ HTC Vive Tracker x3
● レンダリング
○ バーチャルキャスト
バーチャルアイドルひふみちゃんは
高貴な方なのでセットアップを
1 分で完了させる必要があった
MotionHub <VC社モーションキャプチャ基盤>
39
40. 事例:2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO”
MotionHub <VC社モーションキャプチャ基盤>
40
VICON
OptiTrack
Perception Neuron
LED/画面出力
来場者参加イベント
音楽ライブイベント
トークイベント
透過 OLED 出力
AR 撮影システム
VirtualCast
Xsens MVN
HTC Vive Tracker
インターネット番組
Finger Tracking
Fixed AnimationFile
MotionHub
MotionBuilder
Facial Control
Supported by
41. 2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO”
● 3D 担当
● モデルセットアップ
○ VRM
● モーションキャプチャ
○ Xsens MVN
● レンダリング
○ Unity
MotionHub <VC社モーションキャプチャ基盤>
41
42. 事例:2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO”
MotionHub <VC社モーションキャプチャ基盤>
42
https://www.youtube.com/watch?v=H6esydXvoFY
43. 事例:Polaris 【VC 社配信用 AR システム】 出演:アメノセイ
MotionHub <VC社モーションキャプチャ基盤>
43
VICON
Perception Neuron
来場者参加イベント
トークイベント
透過 OLED 出力
AR 撮影システム
VirtualCast
HTC Vive Tracker
Fixed AnimationFile
MotionBuilder
LED/画面出力
Xsens MVN
音楽ライブイベント
OptiTrack
インターネット番組
Finger Tracking
Facial Control
MotionHub
Supported by
45. 事例:Polaris 【VC 社配信用 AR システム】
MotionHub <VC社モーションキャプチャ基盤>
45
© Unity Technologies Japan/UCL
https://virtualcast.jp/blog/2019/07/wfle/
47. 一元化して再利用性と保守性、拡張性を高める MotionHub
ワークフローにおける VRM フォーマット
47
VICON
OptiTrack
Xsens MVN
Perception Neuron
MotionBuilder
Facial Control
HTC Vive Tracker
Finger Tracking
Fixed AnimationFile
LED/画面出力
来場者参加イベント
インターネット番組
音楽ライブイベント
トークイベント
透過 OLED 出力
AR 出力
VirtualCast
MotionHub
Supported by
ワークフローの構築の根幹を成すのは VRM フォーマット
48. VRM とは?
- 「人型 3D アバター」における細かなデータの差異を吸収し
アプリケーションにおける取り扱いを簡単にする
プラットフォーム非依存で横断型の
3D アバターファイルフォーマット
(シェーダは私が策定しました)
ワークフローにおける VRM フォーマット
48
50. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
50
キャラごとにボーン構成が
違いすぎて(Aポーズ・Tポーズ)
プログラムで扱いづらい……
52. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
52
ボーンがスケールしている
せいでプログラムがめっちゃ
バグる……
54. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
54
他社 IP なので見た目の正解を
やりとりするために何往復も……
55. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
55
モデルの数だけ演出システムを特殊化して実装する必要…
他社 IP なので見た目の正解を
やりとりするために何往復も……
指のボーンの向きがバラバラで
透過的に扱えない……
ボーンがスケールしている
せいでプログラムがめっちゃ
バグる……
このキャラクタ、どういう
表情が正解だっけ……?
キャラごとにボーン構成が
違いすぎて(Aポーズ・Tポーズ)
プログラムで扱いづらい……
56. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ → glTF の定義
- ボーン → glTF の定義と VRM の人体定義
- スキニング → glTF の定義
- マテリアル → glTF の PBR 定義と VRM の NPR 定義
- 物理演算 → VRM の定義
- 表情 → VRM の定義
ワークフローにおける VRM フォーマット
56
モデルデータと演出システムを分離、疎結合
57. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
57
キャラごとにボーン構成が
違いすぎて(Aポーズ・Tポーズ)
プログラムで扱いづらい……
VRM は T ポーズで
ボーンが正規化されているので
扱いやすい!
58. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
58
このキャラクタ、どういう
表情が正解だっけ……?
Blendshape と Material を
ラップした抽象レイヤの
表情をモデラが定義、利用できる
59. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
59
ボーンがスケールしている
せいでプログラムがめっちゃ
バグる……
VRM は T ポーズで
ボーンが正規化されているので
ボーンのスケールは 1
60. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
60
指のボーンの向きがバラバラで
透過的に扱えない……
VRM は T ポーズで
ボーンが正規化されているので
扱いやすい!
61. キャラクタの 3D モデルはさまざまな表現を持つ
- 3D メッシュ
- ボーン
- スキニング
- マテリアル
- 物理演算
- 表情
ワークフローにおける VRM フォーマット
61
他社 IP なので見た目の正解を
やりとりするために何往復も……
VRM ファイルの制作と確認は
モデラが行うことができる!
62. VRM をワークフローに敷くことで
- モデル製作
- モーション適用(MotionHub)
- 表情適用
- レンダリングシステム
(ex. VirtualCast)
を横断して、分業を促進し、システムの再利用性を高める
ワークフローにおける VRM フォーマット
62
VRM によりバーチャルキャラクタの演出を一般化
64. ● 開発・運用事例
● イベントにおける問題・制約
○ さまざまなシステムを横断する必要性
○ 多種多様な要件・制約に対して適切な機器を取捨選択する必要性
● 問題・制約に対する解決
○ VRM をワークフローに敷くことでシステムの再利用性を高める
○ 特に共通化できるモーション適用システム MotionHub の開発
まとめ・質疑応答
64