GREE Tech Conference 2020 で発表された資料です。 https://techcon.gree.jp/2020/session/Session-10

1. 株式会社Wright Flyer Live Entertainment バーチャルエンジニア 安川 貴志
さまざまなキャプチャーデータを合成して
再分配するシステム
「REALITYStudio MotionEngine」
について
株式会社Wright Flyer Live Entertainment バーチャルエンジニア 髙橋 悠

2. • REALITY Studioで開発／運用しているMocapミドルウェア(?)
• 名称が長いのでRSMEと呼んでいます。
REALITY Studio Motion Engineの紹介
REALITY Studio Motion Engineとは
2
RealityStudio Motion Engine のプレビュー画面
安川
高橋

3. 3
どのようなところか
REALITY Studio

4. • 主にVTuberの番組の配信／収録を行っている。
• 最近バーチャルライブ制作プラットフォームの提供を始めた。
REALITY Studioはこんなところです
REALITY Studio
4
REALITY Studio の Youtube
https://www.youtube.com/channel/UCK72PAXy0T6v49CDgLzzOIQ
Wright Flyer Live Entertainment、
バーチャルライブ制作プラットフォーム REALITY Live Stageを提供開始
https://le.wrightflyer.net/news/20200713_02.html

5. • 初期設計段階ではかなり共通度高かった。
• モデルの基本構造に共通性があり、VRM経由でのエクスポー
トでREALITYアプリからスタジオへアバターを渡すことが可
能。
• 一般配信者が弊社スタジオに来て、自分のアバターをフルボ
ディキャプチャで演じる事ができるイベントが開催されてい
る。
• 詳細はこの２つ後のセッションで触れられと思うのでスキッ
プします。
共通部分と独自部分について
REALITYアプリとの関係性について
5

6. REALITY Studio Motion Engineを使った事例紹介
REALITY Studio

7. REALITY Studio Motion Engineを使った事例紹介
REALITY Studio

8. REALITY Studio Motion Engineを使った事例紹介
REALITY Studio

9. • どっとライブ の「TOKYO IDOL STADIUM 2020」
• Vチョイす ！
• 謎検に挑戦
• REGALILIA お披露目ライブ presented by #ぶいおん!!
MUSIC LIVE
• V立REALITY学園
• WONK「EYES」SPECIAL 3DCG LIVE
• KMNZ ENDLESS SUMMER
• vスポ
REALITY Studio Motion Engineを使った事例紹介
REALITY Studio
9

10. REALITY Studio Motion Engineを使った事例紹介
REALITY Studio
https://www.youtube.com/watch?v=Mr13ugunbAE

11. 11
はじまりの話
REALITY Studio
Motion Engine

12. • 2019年の年末からIKinema社との連絡が急に途絶えた。
• 手持ちのIKinema LiveActionライセンスは2020/04までに
なっている。
• ライセンスが切れるとスタジオで一切モーションキャプチャ
ーが行えなくなる。
ミドルウェアのライセンス問題
REALITY Studio Motion Engineの開発経緯
12
ライセンスが切れる前に
なんとかしなければならない！！

13. • IKinema LiveActionを解析しながら要件定義🔥
• 猶予期間が不明なので、要件定義もそこそこに実装もスター
トする必要あり🔥
• 配信開始が遅れたり、放送を中止する原因になっているボー
ン崩れを『はよ放送中に補正できるように』と現場から突き
上げられている🔥
• 大規模番組の保守もしながら、新規開発もするよ🔥🔥
• IKinema LiveActionのオンライン認証が突然死して、番組
配信できなくなるかも🔥🔥🔥🔥🔥
当時の燃焼度
REALITY Studio Motion Engineの開発経緯

14. OODAループを基本とし、OOD部分をリーダーの安川が担当。
ActionをGithub Projectのチケットに起こし、得意そうな人に
アサイン。
レビューと動作検証は、リーダーが責任を持って行う方針。
実装部分の詳細設計は、担当者に完全に任せることにした。
戦闘級の解決方法は現場が一番詳しい。
戦略(何を作るの？)がふわっとしているので、戦術・戦闘級でとにかく勝利する
REALITY Studio Motion Engineの開発経緯
ミドルウェア
解析
現場で必要だ
ったか
要件定義開発
初期
過去の要望
洗い出し
半年後に必要
な機能か
要件定義開発
中期
実証デモ
操作の
手触り感
WYSIWYGに
なっているか
改善
後期

15. 機能を絞り開発スピードを優先しつつ、以下を可能にすること。
1. Mocapミドルウェア(VICON/XSens)の最小実装
2. Mocapデータのリアルタイム補正
3. Mocap/Face/Finger/Effectなどデーターの再分配
4. 複数UE4の重いセットアップ作業の撤廃
プロジェクト目標
REALITY Studio Motion Engineの開発経緯
15

16. 16
開発編
REALITY Studio
Motion Engine

17. • IK 処理は各Mocapシステムが提供しているPluginに任せて
いる。
• モデルのスケルトンはUnity Humanoid+αとしている。
• UE4 へはUnity Humanoid部分のFKを送っている。
• 現時点ではUnity上でIK解決は行っていない。
新規開発は最小限にし、既存資源を活用する
Mocapミドルウェア(VICON/XSens)の最小実装
17
Unity Humanoid
Mocap Unity
Plugin
Animator
Humanoid
UE4
Plugin
Animation
BluePrint

18. • IKinema Live ActionはUE4エディター上でのみ編集可能。
• リグの調整はアクターごとに行う必要があり、スーツを脱着す
る度、また配信本番直前にも最終調整を行う。
• UE4 エディター上で調整したリグファイルは、番組で使用す
る全 UE4 にコピーする必要がある。
• 番組が大規模／複雑化し、多数のUE4を同時運用することが増
え、全体のセットアップコストが無視できなくなってきた。
今までの課題
Mocapデータのリアルタイム補正
18
過去の運用マニュアルより
EYES SPECIAL 3DCG LIVEでは
全部でUEを7台同時に運用

19. • REALITY Studio Motion Engineにリグ調整機能を実装し、
リアルタイムに全UE4に反映できるようにした。
課題の解決
Mocapデータのリアルタイム補正
19
IKinema Live Action のリグ調整画面
IKinema Live Action ではエディターで編集した後、
ファイルを各 UE4 PC にコピーする必要があった。
RealityStudio Motion Engine のリグ調整画面
リアルタイムで使用する UE4 PC 全部に反映させる
ことができる。

20. 各エッジに設定されていたものを、ハブに設定を集中させる
Mocap/Face/Finger/Effectなどデーターの再分配
UE4 UE4 UE4
Mocap Face Finger
UE4 UE4 UE4
Mocap Face Finger
REALITY Studio MotionEngine
• データの流れを大改革

21. • 登場するキャラクター達の設定
• ステージ設定
• 各種通信データーの接続先、待ち受けポートの設定
• IKinemaRig（ボーンリターゲット）の調整
• カメラ位置データー
• etc…
現場でセットアップ内容が変更になると、全UE4の設定を変更す
る必要がある。
全UE4でセットアップを同期させる必要があった
複数UE4の重いセットアップ作業の撤廃
21

22. • 登場するキャラクター達の設定
• ステージ設定
• 各種通信データーの接続先、待ち受けポートの設定
• IKinemaRig（ボーンリターゲット）の調整
• カメラ位置データー
• etc…
全UE4でセットアップを同期させる必要があった
複数UE4の重いセットアップ作業の撤廃
22
Mocapに関する部分はRSMEに設定作業を追い出し完了
そのうちセットアップをRSMEで管理できるようになる（希望）

23. 23
開発中に出てきたあるある話
REALITY Studio
Motion Engine

24. • Unreal C++/Blueprint/UMG UIよりもC#/uGUIの経験の
ほうがあるため開発はし易かった。
• 複数人で開発しても現実的なレベルでマージが行えた。
（Unreal C++は問題ないがBlueprintは大変）
Unityを採用したこと
開発話
24

25. • GC によるスパイクでモーションがカクつく。
• 配信時間を考慮すると最低2時間はカクつきなしで動作する
必要あり。
• GC が発生しないようにメモリ確保の頻度を抑えるように直
した（古典的対策）。
• 盲点だったのはMocapデーターに含まれる文字列情報。デー
ターを受け取るたびに大量の文字列生成が発生してしまうの
でバイト配列からキャッシュされた文字列を検索／取得する
ようにした。
メモリ問題
開発話
25

26. • 開発中に Unity2019 の LTS が出たのでアップデートして
みたものの細かい不具合やパフォーマンスの低下が発生し、
期限に間に合わなかったので断念した。そのため
Incremental GCは試せていない。
メモリ問題
開発話
26

27. • 不具合やパフォーマンスの改善を求めてUnityのアップデー
トを逐一適用するようにしていたらアップデートのたびに通
信がブロックされ、コードの変更がないのにデーターが届か
ないという問題がおきていた。
• アップデートしたらエディターを起動する前にファイアウォ
ールの設定を変更するよう気をつけている。
ファイアウォール
開発話
27

28. • 開発終盤でCOVID-19が流行し、全員テレワークになった。
• Xsens MVNは通信ネゴシエーション無しにUDPでモーショ
ンデーターを送信するので、パケットをキャプチャーして自
宅で開発できた。
• VICON(Shogun)は通信ネゴシエーション部分がTCPなので、
スタジオでしか開発できない状況。緊急事態宣言が解除され
るまでVICON(Shogun)の検証が行えずなかなか辛かった。
検証環境
開発話
28

29. • 開発当初、他社のミドルウェアを採用することで短期間でリ
アルタイムモーションキャプチャーを実現できたが、そのミ
ドルウェアが使えなくなると大変だった。
• しかしスタジオ開始当初と今では状況が異なってきている。
• 最初は2人のVTuberがトークするだけのシステムだったが、
今は8人でライブしたり複数の部屋をまたいで配信したり大
規模化。
• システムを見直す良い機会になった。
まとめ
まとめ
29

30. • 開発のし易さ／速さとパフォーマンスはトレードオフ。
• モーションキャプチャーは高いパフォーマンスが求められる。
• 状況に合わせて対応するのが良い。
• 私達は時間が残されていなかったので前者を取った。
まとめ
まとめ
30

31. 31