雑音下におけるSS法を用いた音声認識ロボット

2016年7月28日に開催されたデモ大会におけるデモ内容は、以下の通りです。

・背景・目的

近年では、様々な場面において音声認識技術は用いられているが、雑音環境下における音声認識に関しては研究途上の段階である。
今回のデモ大会では雑音抑圧ではよく用いられているSS法を使って、雑音環境下においても音声が認識できるかどうかに関するデモを行う。

・デモ内容

まず、静かな環境でのロボットを用いた音声認識デモを行う。
次に、雑音を発生させた状態にて音声認識ができるかどうかを実験する。

・システム構成

今回のシステムでは、C#でプログラムの本体部分を作成し、雑音抑圧部分をMATLABにて関数として作成し、C#から呼び出して利用できるようにした。
また、音声認識に関してはJuliusを、音声合成に関してはOpenJTalkを用いた。

・今後の改善点

他の雑音抑圧方法の機能の実装→SS法以外にも様々な方法があるので試してみたい。
計算時間の短縮→プログラムに冗長なスリープなどが入っているので、できるだけ減らす。

・動画

こちらの動画が、実際に行ったデモ内容である。

空間クロススペクトルを用いた拡散性雑音抑圧

2016年7月28日に行われたデモ大会の発表内容です。

「空間クロススペクトルを用いた拡散性雑音抑圧」という論文の追試を途中まで行いました。

システムの説明
拡散性雑音を抑圧するために、Wienerフィルタを設計します。
ここで、Wienerフィルタは 𝐻(𝜔) = (𝑃_(𝑠+𝑛)(𝜔)−𝑃_𝑛(𝜔)) / (𝑃_(𝑠+𝑛)(𝜔)) で計算されます。
𝑃_(𝑠+𝑛)(𝜔) , 𝑃_𝑛(𝜔) は以下にある計算式で推定されます。
hp%e7%94%a81

hp%e7%94%a82

ここで Y_DS(𝜃,𝜔) は正面を0°としたときの右20°,40°,60°,80°方向と左20°,40°,60°,80°方向にビームを向けた遅延和フィルタによって強調された信号です。

遅延和フィルタとは、複数のマイクで収音する時に、各方向から到来する音の時間遅れを、その遅れ分だけフィルタで進めて、相殺させることによって特定の方向の音を強調させるものです。

そして、それぞれの方向の Y_DS(𝜃,𝜔) を計算した後、先のWienerフィルタを計算します。

計算したWiernerフィルタを、収音した信号に掛け合わせることで、拡散性雑音を抑圧することができます。

実験結果は以下にあります。
hp%e7%94%a83

今後の課題
実験結果を見てもらうと分かるのですが、効果があまりでていません。
原因は雑音の推定ができていないことによるものだと考えられます。
その理由は実験で使用したものはただの雑音で、拡散性の雑音ではなかったからだと思います。

参考文献
空間クロススペクトルを用いた拡散性雑音抑圧

研究背景・目的

私たちが生活する環境の中には、様々な音(人の声、音楽、騒音、残響など)が存在しています。このような音が存在する時、目的音源の抽出、認識性能は低下するといった問題があります。そこで音源分離を行うことで、背景音が含まれる中で目的とする音源の抽出、認識性能を向上させることが出来ます。音源分離には、いくつかの手法がありますが、その中でも新しい手法であるNMFを多チャネル拡張したマルチチャネルNMFに着目します。

マルチチャネルNMFおよびシングルチャネルNMFの概要は吉山さん、三浦さんの記事を参考にして下さい。

https://www-ai1.csis.oita-u.ac.jp/?page_id=538

https://www-ai1.csis.oita-u.ac.jp/?page=1946