SlideShare une entreprise Scribd logo
1  sur  32
Télécharger pour lire hors ligne
高次アンビソニックスのための
マイクロホンアレイ設計の研究
発表者: 17E3009 堀江 宥仁
所属: 人工知能第一研究室
指導教員: 古家 賢一 教授
場所: 108号室
目次
背景
従来研究
課題
提案法
マイクロホンアレイ配置検討
補間計算
球面調和関数計算
シミュレーション実験
無響室実験
まとめ
今後の課題
1
背景
近年、テレビ会議、VR コンテンツを用いたエンターテイメン
ト等、臨場感を利用したものが増えてきている。
例:YouTube
play station VR
Google street view
2https://t.pimg.jp/026/035/397/1/26035397.jpg
Google street viewの現状
現状、Google street view等のコンテンツには全天球の
画像のみで作成
音の臨場感がない
3
音源
音源
臨場感音場再生
4
音源
空間や受聴者の頭の回転に応じて音場の変化をステレオ録音では再現できない
https://woman.infoseek.co.jp/news/entertainment/walkerplus_139712
アンビソニックス
臨場感のある音場の再現に有効な手法
特徴
空間や受聴者の頭の回転に応じて音場の変化を再現
収音には特殊なアンビソニックマイクロホンが用いられる
5
http://gear.entropycreative.com/img/ambisonic.jpg
https://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160913_02_02.jpg
低次アンビソニックス
球面調和関数の0次と1次にのみ着目した手法
アンビソニックマイクロホンで収音した信号を収音指向特
性で収音した場合の信号に変換
6https://www.jstage.jst.go.jp/article/itej/68/8/68_616/_pdf
指向性合成
XYZは軸方向の指向性成分、Wは無指向性成分
7
例:水平方向にΦ頭部回転
https://www.jstage.jst.go.jp/article/itej/68/8/68_616/_pdf
高次アンビソニックス
低次アンビソニックスは音源数が複数の時、音波が重畳し
複数の音源で作られる音場の再現ができない
高次アンビソニックス
2次以上の球面調和関数を用いた手法
複数の音場の再現が可能
例:球状マイクロホン
8
球面調和関数
https://t-pot.com/program/88_SH/ 9
W
X
U
Z
S
Y
TR V
高次アンビソニックスの問題
しかし、次数が高くなると多くのマイクロホンを1つの球上に
集積配置しなければならない。
球状にランダム配置した際、調和関数の2次成分までを求め
るのに少なくとも36台のマイクロホンが必要
マイクロホン数が多く実現が困難
互いのマイクロホンが干渉し、精度低下
10
従来研究(1)
「MICROPHONE ARRAYS USING TANGENTIAL
VELOCITY SENSORS」
P.G. Craven, M.J. Law (Algol Applications Ltd. ),C. Travis (Sonopsis Ltd)
AMBISONICS SYMPOSIUM 2009,pp.1-8,June 25-27,Graz
11
マイクロホンの配置に多面体の
対称性を利用
双指向性マイクロホンを使用
立方体上に双指向性マイクロホ
ン12個+無指向性マイクロホン
1個配置し球面調和関数2次ま
でを計算できた。
双指向性マイクロホン
従来研究(2)
「球面調和関数展開に基づく多重極音源を用いた指向性
合成」
日本音響学会誌69巻11号(2013),pp.577-588
羽田陽一、古家賢一、島内 末廣
スピーカアレイを用いて指向性の合成
球面調和関数2次成分までを音源9個のみで実現
非対称配置
12
非対称配置の影響
9個の無指向性マイクロホンで球面調和関数2次成分まで
計算出来るが、配置が対称でないため、方向によって偏り
が生じる
13
青:非対称配置
赤:理想形
課題
従来研究(1)で用いた双指向性マイクロホンは、無指向性
のマイクロホンと比べ高価
複数用意するのは困難
従来研究(2)から対称にマイクロホンを配置しないと指向特
性に偏りが生じる
14
目的
無指向性マイクロホンを使用
正多面体の対称性を利用し、指向性の偏りをなくす
上記を満たした高次アンビソニックスのマイクロホンアレイ
の設計
15
マイクロホン配置
球面調和関数2次までで各指向性ごとに必要なマイクロホ
ンを配置していく
例:
16
球面調和関数1次
前後に指向性を持つ
球面調和関数2次
左右方向に斜めの指向性を持つ
Y軸
黄色:マイクロホン
マイクロホン配置
球面調和関数2次まですべて対応させた配置(計19個)
17
マイクロホン入力の補間
さらに補間できる箇所のマイクロホンを削減
水平面のX軸Y軸Z軸上のマイクロホンは面上の4つのマイ
クロホンの平均で補間
18
Z軸
Y軸
X軸
青丸:補間されるマイクロホン
提案法
配置:立方体配置
マイクロホン:無指向性マイクロホン
マイクロホン数:13個
マイク間距離:5cm
19
Z軸
Y軸
X軸
1
3 2
4
10
12 11
13
8
7
5
6
9
‫1ܿ݅ܯ‬
‫2ܿ݅ܯ‬
‫3ܿ݅ܯ‬
‫4ܿ݅ܯ‬
‫5ܿ݅ܯ‬
‫6ܿ݅ܯ‬
‫7ܿ݅ܯ‬
‫8ܿ݅ܯ‬
‫9ܿ݅ܯ‬
‫01ܿ݅ܯ‬
‫11ܿ݅ܯ‬
‫21ܿ݅ܯ‬
‫31ܿ݅ܯ‬
‫41ܿ݅ܯ‬
‫51ܿ݅ܯ‬
‫61ܿ݅ܯ‬
‫71ܿ݅ܯ‬
‫81ܿ݅ܯ‬
‫91ܿ݅ܯ‬
= 																											
݉݅ܿ1
݉݅ܿ2
݉݅ܿ3
݉݅ܿ4
݉݅ܿ5
݉݅ܿ6
݉݅ܿ7
݉݅ܿ8
݉݅ܿ9
݉݅ܿ10
݉݅ܿ11
݉݅ܿ12
݉݅ܿ13
補間計算
20
補間行列
*
球面調和関数計算
21
ܹ
ܺ
ܻ
ܼ
ܴ
ܵ
ܶ
ܷ
ܸ
= *
k:k:k:k:波数波数波数波数
d:d:d:d:マイク間距離マイク間距離マイク間距離マイク間距離
*
‫ܯ‬ic1
:
:
‫91ܿ݅ܯ‬
係数行列
シミュレーション実験
音源をマイクロホンアレイ全方位で
回転させ、指向性感度を計算
音源とマイクロホンアレイの距離:
2m
四面体の重心から音源までの距離
音速340m/s
周波数:500Hz
22
マイクロホンアレイ
音源
音響モデル
伝搬遅延:⊿t = ୰
ୡ⁄ c:音速340m/s
距離減衰
各マイクロホンに入る信号は距離(‫)ݎ‬に反比例
݉݅ܿ(‫)ݔ‬ =
1
‫ݎ‬
× ߲ ‫ݐ‬ − ⊿t
rrrr
提案されたマイクロホンアレイがどのような指向特性を持っているか検証
シミュレーション結果
23
シミュレーション結果
従来法と比較しても指向性に偏りがないことが確認できる。
赤:従来法(対称配置)
青:従来法(非対称配置)
緑:提案法
24
実環境測定
シミュレーション結果から提案法で2次まで球面調和関数
を計算できることが確認できたため、実環境でも確認。
マイクロホンアレイを作成し、指向特性を計測する。
計測方法
マイクロホンアレイを回転テーブルに乗せX軸、Y軸、Z軸それぞれ
を軸に5度間隔で回転させる。
25
スピーカ
マイクロホンアレイ
回転テーブル
実験条件実験条件実験条件実験条件
場所 無響室
測定信号 TSP信号
音源とマイクロホン
アレイの距離
2m
マイクロホン数 13個
サンプリング周波
数
48000Hz
マイクロホンアレイ作成
マイクロホンを支える筐体CADで設計し、3Dプリンタで作成
一辺10cm,幅0.7cm
マイクロホンサイズ:5.8*13mm
26
10cm
10cm
0.7cm
計測結果(Z軸回転)
27シミュレーション 無響室実験
計測結果(X軸回転)
28シミュレーション 無響室実験
計測結果(Y軸回転)
29シミュレーション 無響室実験
実環境での結果
球面調和関数0次はシミュレーションと同様な結果が得ら
れた。
球面調和関数1次は指向性の向きは同じだが、くぼみが生
じてしまっている。
球面調和関数2次はくぼみが多くうまく計測できていない。
くぼみが生じた原因:
マイクロホンアレイの筐体の柱が直接音をさえぎっている可能性。
30
まとめ
VRコンテンツ等の臨場感のある音響再生の実現を目指して
無指向性マイクロホンで高次アンビソニックスを検討
課題
双指向性マイクロホンは高価で複数用意できない
非対称配置では指向性に偏りが生じる。
無指向性マイクロホンと対称配置を利用し、立方体のマイク
ロホンアレイ配置を提案。
シミュレーション実験により2次まで球面調和関数を偏りなく
計算できることを確認。
無響室で計測し、球面調和関数1次2次にくぼみが生じてし
まったが、0次に関しては測定できた。
今後の課題
極力計測に影響が出ない構造の筐体の検討
31

Contenu connexe

Tendances

Moment matching networkを用いた音声パラメータのランダム生成の検討
Moment matching networkを用いた音声パラメータのランダム生成の検討Moment matching networkを用いた音声パラメータのランダム生成の検討
Moment matching networkを用いた音声パラメータのランダム生成の検討
Shinnosuke Takamichi
 
雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習
雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習
雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習
Shinnosuke Takamichi
 

Tendances (20)

音情報処理における特徴表現
音情報処理における特徴表現音情報処理における特徴表現
音情報処理における特徴表現
 
Moment matching networkを用いた音声パラメータのランダム生成の検討
Moment matching networkを用いた音声パラメータのランダム生成の検討Moment matching networkを用いた音声パラメータのランダム生成の検討
Moment matching networkを用いた音声パラメータのランダム生成の検討
 
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
Onoma-to-wave: オノマトペを利用した環境音合成手法の提案
 
ウィナーフィルタと適応フィルタ
ウィナーフィルタと適応フィルタウィナーフィルタと適応フィルタ
ウィナーフィルタと適応フィルタ
 
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法
 
Neural text-to-speech and voice conversion
Neural text-to-speech and voice conversionNeural text-to-speech and voice conversion
Neural text-to-speech and voice conversion
 
深層学習と音響信号処理
深層学習と音響信号処理深層学習と音響信号処理
深層学習と音響信号処理
 
統計的ボイチェン研究事情
統計的ボイチェン研究事情統計的ボイチェン研究事情
統計的ボイチェン研究事情
 
音声合成のコーパスをつくろう
音声合成のコーパスをつくろう音声合成のコーパスをつくろう
音声合成のコーパスをつくろう
 
機械学習の未解決課題
機械学習の未解決課題機械学習の未解決課題
機械学習の未解決課題
 
音楽波形データからコードを推定してみる
音楽波形データからコードを推定してみる音楽波形データからコードを推定してみる
音楽波形データからコードを推定してみる
 
深層学習を用いた音源定位、音源分離、クラス分類の統合~環境音セグメンテーション手法の紹介~
深層学習を用いた音源定位、音源分離、クラス分類の統合~環境音セグメンテーション手法の紹介~深層学習を用いた音源定位、音源分離、クラス分類の統合~環境音セグメンテーション手法の紹介~
深層学習を用いた音源定位、音源分離、クラス分類の統合~環境音セグメンテーション手法の紹介~
 
DNN音響モデルにおける特徴量抽出の諸相
DNN音響モデルにおける特徴量抽出の諸相DNN音響モデルにおける特徴量抽出の諸相
DNN音響モデルにおける特徴量抽出の諸相
 
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
 
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
 
統計的音声合成変換と近年の発展
統計的音声合成変換と近年の発展統計的音声合成変換と近年の発展
統計的音声合成変換と近年の発展
 
深層生成モデルに基づく音声合成技術
深層生成モデルに基づく音声合成技術深層生成モデルに基づく音声合成技術
深層生成モデルに基づく音声合成技術
 
Asj2017 3invited
Asj2017 3invitedAsj2017 3invited
Asj2017 3invited
 
雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習
雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習
雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習
 
12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf
 

高次アンビソニックスのための マイクロホンアレイ設計の研究