モバイル×VRにおける3Dサウンド実践

Copyright © GREE, Inc. All Rights Reserved.
モバイル×VRにおける
3Dサウンド実践
2016/5/20

1. プロダクトと自己紹介
2. モバイル×VRのサウンド
3. 実践

自己紹介
6
• 名前：井上幹
• グリー株式会社WFS事業本部Art部サ
ウンドチーム所属
• サウンドチームでVR案件のサウンド
アーティストをしています
• BGM/SEの制作からサウンドデザイン
まで
• 昨年の東京ゲームショウで展示された「サラと毒蛇の王冠」
のサウンドも担当
• そのほかには「追憶の青」などモバイルアプリのサウンドも
担当しております

• GearVR用アプリ
• 開発環境はUnity
• サウンド周りはUnity×Oculus Audio SDK
• サウンドアセットは内製
Tomb of the Golems紹介
7

• そもそも音を聞かない
• スピーカーの問題
• 容量の制限
• 処理能力の限界
モバイルゲームではサウンドの優先度は高くない
9

一方でVRではサウンドはとても重要
10
• 基本ヘッドホン着用
• 没入感を大きく左右
• 「そこにある」ように
• PC想定

モバイル×VRのサウンドはバランスが重要
11
• 容量の制限、処理能力の限界がある
• 基本的にはヘッドホンの使用が想定される
• 没入感を大きく左右する
ハードの制限と他のリソースとのバランスを見ながらも
「そこにある」ように音を鳴らすよう調整する

3. 実践
 Tomb of the Golemsでの音の分類
 音の立体化
 ゲームの世界に存在しない音の扱い
 Spatial Blendによる調整

3. 実践 –Tomb of the Golemsでの音の分類
本作のサウンドは以下の様に分類される
15
2D Sound
3D Sound
Spatialized Sound

2D Soundとは
16
• 音量の距離減衰やパンニング等の影響を受けないサ
ウンド
• 以下の音が分類される
• ゲームの世界には存在しない音
• BGM
• ME
• システム音
• (一部環境音)

3D Soundとは
17
• 音源とプレイヤーとの距離や角度によって音量の減
衰やパンニングがかかる様になるサウンド
• ゲームの世界に存在する音
• シーン内に音源が存在するものはほとんどこちらに
分類される

Spatialized Soundとは
18
• 3D Soundの中でもSpatializerによって立体化され
ているサウンド
• より「そこにある」ように聞こえるため、VRコン
テンツでは重要
• 詳細は後述

19
2D Sound
3D Sound
Spatialized Sound

3. 実践 –音の立体化
21
2D Sound
3D Sound
Spatialized Sound

• 音が発生してから人間が知覚するまでのあらゆる変化をシ
ミュレーションして、音源が「そこにある」ように聞こえさ
せること
音の立体化(Spatialization)とは
22
変化

• シミュレーションする主な要素
• 音量の距離減衰
• 音源の角度による両耳間の音量差
• 空間による残響
• 両耳間時間差
• 頭や肩、外耳による音の回り込み
• 初期反射による空間の距離認識
Unityの機能だけではよりリアルな表現は難しい
23
UnityのAudio関連機能
でシミュレーション可能
Unityの標準機能だけでは
難しい

音の立体化をUnity上で行うSDKは複数ある
24
開発元プラグイン名
Oculus Audio SDK for Unity
Audio Spatializer SDK
Cardboard SDK for Unity
• 本作はGearVRでのリリースなのでoculusのものを選択

Oculus Audio SDKには主に2つの機能がある
25
①Oculus Native Spatializer
②Oculus Spatializer Reflection

26

変化
• Audio Sourceを含むオブジェクトにつけるコンポーネント
• 主にHRTFによるフィルタリングを行い、頭や肩、外耳など
による音の回り込みと両耳の時間差をシミュレーションする
ことで音の定位感をよりリアルに表現する
• (音量の距離減衰をシミュレーションする機能もある)
Oculus Native Spatializerについて
27
環境
要因
人的
要因
HRTF
(頭部伝達関数)

Oculus Native Spatializerを使う①
28
• Oculusの公式サイトから
Oculus Audio SDK Plugins
をダウンロードする
• https://developer.oculus.c
om/downloads/
• Unity Packageをインポート

Oculus Native Spatializerを使う②
29
• Edit>Project
Settings>AudioからAudio
Magnagerを開く
• Spatializer Pluginの項目で
OculusSpatializerを選択

Oculus Native Spatializerを使う③
30
• 適応したいAudioSourceが
ついているオブジェクトの
Add ComponentからONSP
Audio Sourceを選択
• AudioSourceのSpatializer
にチェックを入れる
• ONSP Audio Sourceの
Enable Spatializationに
チェックを入れる

Oculus Native Spatializerを使う④
31
• Enable Spatialization：オフにするとバイパス
• Disable Reflections：後述するReflectionsをオフにする
• INVERSE SQUARE ATTENUATION：距離減衰を適用する

HRTFによるフィルタリングには処理負荷がかかる
32
なので適用箇所は選ばなければいけない
• ONSP Audio Sourceをつけたオブジェクトが多ければ多い
ほどCPUに負荷がかかる
• かつモバイルだからシビア

本作で考えた適用箇所を選ぶ基準
33
①音源の定位がゲームとして重要になる演出
②音源がプレイヤーの近くを通る演出

• Spatializerの適用箇所
• オープニングの光の演出
• エントランスのパズルの音
• ホルスの足音
• オシリスの登場音
• ゴーレムのロケットパンチの飛行音
• etc
• 使用箇所をシーンで10前後に制限することで負荷を軽減
• シーン中にSpatializerをいくつ使用しているかを確認できるデバッ
グツールをエンジニアさんに作ってもらった
Tomb of the Golemsでの実例
34

35

36

• オーディオミキサーのエフェクトとして使用する
• 主に初期反射をシミュレーションし、プレイヤーが空間を感
じ取れるようにする
• (通常のいわゆるリバーブ機能も付いている)
Oculus Spatializer Reflectionについて
37
直接音
初期反射音

Oculus Spatializer Reflectionを使う①
38
• Audio Mixerの下部にある
AddからOculus Spatializer
Reflectionを選択

Oculus Spatializer Reflectionを使う②
39
• Early Refl. On(初期反射オ
ン)にチェックを入れる
• 深い残響感が欲しい場合は
Reverb Onにもチェックを
入れる
• 各パラメーターを設定

Oculus Spatializer Reflectionを使う③
40
• Global Scale
• 1 unit = 1 m
• Early Refl. On
• 初期反射シミュレーションオン
• Reverb On
• 残響オン
• ROOM DIMENSIONS
• 部屋の大きさ(meters)
• WALL REFLECTION VALUE
• 反射率(%)

• この規模のモバイルアプリには使用できそうもない
Spatializer Reflectionは処理負荷がとてもかかる
41
Oculus Spatializer Reflection使用時(PC上で測定)
参考：Oculus Spatializer Reflection未使用時(PC上で測定)
音源数4
Total Audio CPU 44.0%
音源数4
Total Audio CPU 10.3%

• Oculus Spatializer Reflectionの使用は諦め、リバーブは
Unityのリバーブゾーンで対応
• UnityのリバーブゾーンはOSRとは異なり初期反射の計算で音源を立
体化するものというよりは、空間の残響感をざっくり再現するもの
• OSRを使用しない場合はONSP Audio SourceのDisable
Reflectionsに必ずチェックを入れる
• 基本的には外とダンジョン内2つのリバーブゾーンを使用
• リバーブのパラメーターはUser設定で編集しています
• 2つのリバーブゾーンをプレハブ化して各シーンに配置してます
• システム音などは場所によるリバーブの影響を受けないよう
に設定
Tomb of the Golemsの実例
42

3. 実践 –ゲームの世界に存在しない音の扱い
44
2D Sound
3D Sound
Spatialized Sound

（再掲）2D Soundとは
45
• 音量の距離減衰やパンニングの影響を受けないサウ
ンド
• ゲームの世界には存在しない音
• BGM
• ME
• システム音
• (一部環境音)
没入感の高めるため極力無くしていく？

BGMやMEの扱いはゲームの世界観によって変わる
46
• VRコンテンツでは没入感を損ねないために、極力ゲームの
世界に存在しない音は鳴らさない
• 一方で、ゲームとしてはBGMやMEがプレイヤーにもたらす
効果は重要
リアルに近い世界観ではBGM/MEは極力抑える
デフォルメされた世界観ではある程度あってもいい

47

48
• ダンジョン内や戦闘中に緊張感を演出するためにBGMを鳴
らす
• しかし、通常のモバイルゲームよりは音量は少し控えめ
• システム音も選択時の音のみに抑えている
• クリア時のMEやアイテム獲得音などは無し
• リザルト画面は演出としてゲームの世界に入れ込む

49

3. 実践 –Spatial Blendによる調整
51
2D Sound
3D Sound
Spatialized Sound

Spatial Blendで違和感を調整、迫力を演出する
52
音源との距離によってSpatial Blend(2D/3D)を調整する
• 3D Soundは基本モノラルなので、演出によっては定位に違
和感があったり、迫力に欠けたりする
• e.g. 大きものが落ちてくるときの衝撃音

53

54
• ボス登場音には下記の要素が含まれている
• 接地の衝撃音
• 周囲のものが振動する音
• リバーブだけでは表現できないダンジョンの全体の鳴り、響
• 接地の衝撃音は完全3Dでも問題無いが、他の音は多少の広
がりが無いと違和感があり、迫力に欠ける
• 定位に違和感が無いようにSpatial Blendで調整する
• (もちろん接地音とその他を分けてもいいが節約もできる)

55

ご静聴ありがとうございました

Q&A

モバイル×VRにおける3Dサウンド実践

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (8)

Similaire à モバイル×VRにおける3Dサウンド実践

Similaire à モバイル×VRにおける3Dサウンド実践 (20)

Plus de GREE/Art

Plus de GREE/Art (6)

モバイル×VRにおける3Dサウンド実践

Notes de l'éditeur