研究背景
スマートフォンの普及により全天球映像が気軽に視聴できる環境が整いつつあります。
YouTubeなどの動画配信サイトや，FacebookなどのSNSも360度動画に対応しており，VRコンテンツやゲームなども普及してきています。
しかし，3Dオーディオへの対応はまだ始まったばかりです。
全天球映像に合わせた立体音響の必要性
全天球映像とは「前後左右頭上から足元まで全視野を覆うような映像」のことをいいます。
以下リンクにサンプルがあります。
https://theta360.com/users/173787
（本研究室が投稿している全天球画像です。動画も撮影可能です。）
このような全天球映像では，音を明確に感じさせること（音像定位強調）が必要となります。
従来研究：アンビソニックス
解決したい課題
反響などによって，様々な方向から音が到来すると，音像がぼやけてしまい，定位がはっきりしません。
そのため，定位が得られるような立体音を再現するには，複数の音源を音源ごとに強調する必要があります。
アプローチ方法
アプローチ方法は次の通りです。
- マイクロホンアレイを用いて収音
- MVDRとウィーナーフィルタを用いて，方向別に強調処理
- 強調信号を収音指向特性の4チャネルに変換
- アンビソニックスと統合
- スマートフォン再生アプリで再生
作製したマイクロホンアレイ
収音に用いるマイクロホンアレイを作製しました。
全天球映像と一体で収録が出来るよう，水平・上下の計8チャネルで構成されています。
収音部（方向別強調処理）
マイクロホンアレイの収音信号の各チャネルにMVDRのフィルタを掛け，それらを足し合わせた後にウィーナーフィルタを掛けます。
これによって，MVDRのみと比較してより強調を行うことが可能になります。
MVDR
MVDRは方向性の音のみ制御可能なため，拡散性雑音を扱うためにウィーナーフィルタを組み合わせます。
ウィーナーフィルタ
今回提案したウィーナーフィルタは以下の通りです。
定位評価実験
提案手法で強調処理した信号を用いて定位評価実験を行いました。
評価方法と実験条件は以下の通りです。
定位評価実験結果
実験結果は以下の通りです。
アンビソニックスと提案手法の比較から，提案手法の方が定位がはっきりしていることが分かります。
考察
実験を踏まえた考察は以下の通りです。
提案手法により，定位の向上は見られましたが，まだ「ぼやける部分」が残っているため，より最適な強調方法を検討する必要があります。
より強調が可能になれば，より定位を向上させることが可能になると考えられます。
まとめ
- 全天球映像における音の定位感を向上させるために，音を方向別に強調する手法を提案しました。
- 定位評価実験を行い，その結果から提案手法で定位が向上することを確認しました。
- しかし，実験の結果からさらなる定位向上の可能性が残っているため，そのための強調手法を検討する必要があります。
今後の課題
- 今回は3種類の目的音と1種類の雑音を使用しましたが，他の目的音と雑音を組み合わせた場合にも，今回と同等の効果が得られるかを調査する必要があります。
- 今回は手動生成した混合信号を用いているため，実環境への応用に向けた収音強調方法を調査する必要があります。
コメントを残す