多様な雑音環境下における音声認識のための最適な雑音抑圧方法の研究

研究背景

近年音声認識技術は様々なときに、様々な場所で、様々なときに用いられています。
この技術は雑音の無い環境における音声認識の精度はとても高いのですが、雑音のある環境での音声認識はまだ十分ではありません。

従来研究

私たちの研究室では、非負値行列因子分解(以下NMFと呼びます)を用いた研究を行っています。
その中で私たちの研究室の三浦さんによる、NMFをマルチチャネル拡張したマルチチャネルNMF(以下MNMFと呼びます)を用いた雑音抑圧手法があり、その手法ではMNMFでの空間相関行列での初期値にバイナリマスクを用いた際に、ランダムに与えていた従来法よりも雑音抑圧性能が向上しているといった研究があります。
三浦さんの研究に関してはこちらをご覧ください。

https://www-ai1.csis.oita-u.ac.jp/?p=1946

研究目的

街中には様々な雑音環境があり、いかなる環境においても雑音抑圧を行えることが必要です。
現状での雑音抑圧方法のひとつに非負値行列因子分解による手法があるのですが、その技術をさらに改良して音声認識率の向上を図りたいと考えています。

提案手法

この研究の最終目標として雑音環境の音声に対して雑音環境を判断し、判断した結果を基に最適な雑音抑圧方法とNMFを組み合わせて認識率の向上を図ります。
この時環境判断に関しては、事前に雑音環境を学習させたデータをもとに雑音環境を判断し、判断した結果を基にNMF処理した音声にたいして最適な処理方法を選択します。
そして、処理した音声を音声認識させ、音声認識結果を基に良かった場合はそのまま音声出力し、悪かった場合は処理方法を変更して再び音声認識をこころみるといった物となります。

本研究では、先ほどのようなシステムを実現する前段階として、処理方法を選択する際に、どのような手法のどのようなパラメータが、環境雑音に対して適切であるかどうかを調査します。
今回は特に、NMF処理の後処理としてウィナーフィルタとウェーブレット変換を用いた際における適切なパラメータと音声認識率との関係について調査します。

認識実験

認識実験では、本研究における提案手法が有効であるかどうかの実験を行いました。
この実験において、雑音環境はCHiMEChallenge4のデータからバス、カフェ、歩行者天国、交差点の4環境を、各環境で実際に目的音を収音したREALデータと、室内で録音した目的音を各環境データに畳み込んだSIMUの2種類の8通りの環境を対象に評価を行いました。
また、雑音環境の情報を与えて環境毎に手法を変えた既知の場合と環境の情報を与えていない未知との場合に分けて実験を行いました。

認識実験結果

認識実験の結果です。
環境が未知の場合、従来のNMFのみの手法と比べて大幅に単語誤り率が大きくなっており、従来手法を越えることはできませんでした。
また、環境が既知の場合も、未知の場合と比較して多少改善されていますが、それでも従来法を超えることはできませんでした。

考察

今回の実験ではまず認識実験の前に行った予備実験にて、予備実験の環境を想定した4環境を用意し、その環境でのSDR改善量からパラメータを選択しました。しかし、認識実験に用いた環境と全く同じではないため、そのことが認識率に影響を及ぼしているのではないかと考えています。
またパラメータの選択に関してですが、今回は、雑音を混入させた音声からウィナーフィルタまたはウェーブレット変換を用いた際のSDRの改善量からパラメータの選択を行ったのですが、SDR自体が改善していても音素が変質していたなどといったことも考えられるため、事前に検討する段階から音声認識率の良し悪しでパラメータの選択を行うべきであったと考えています。
また、雑音環境が既知の場合と未知の場合とを比較して、既知の場合のほうが単語誤り率が低いことから、環境情報を与えることは必要であると考えています

まとめ

本研究では、雑音環境に頑健な抑圧方法を実現するために、従来のNMFの手法に学習を用いた雑音抑圧方法を提案しました。
その中で、特に提案システムを実現する前段階として、どのような手法のどのパラメータが環境雑音に対して適切かどうかの調査に焦点をおき、NMF処理の後処理としてウィナーフィルタとウェーブレット変換を利用した認識実験を実施しました。
その結果認識実験では、従来手法を越える結果を得ることができず、その原因として、事前に検討していたパラメータが認識実験の結果と合わなかったなどといったことが考えられます。

今後の課題

今回の研究ではウィナーフィルタとウェーブレット変換を利用しましたが、それ以外の処理方法についても検討を行う必要があるのではないかと考えています。
また、考察にもありましたが事前に検討する段階においてSDRによる評価尺度ではなく、音声認識率による評価尺度にてパラメータを調査する必要があると考えています。
また、それらを十分に行った後、今後は学習の方法について具体的に検討する必要があると考えています。

全天球型立体音響のためのマイクロホンアレイを用いた多チャネル収音の研究

研究背景・目的
近年、VR(バーチャルリアリティ:仮想現実)が身近になってきており、今後様々な業界に進出していくと考えられる。
VRはとても高い臨場感を再現しているが、さらに高い臨場感の高いものを得るには、映像による臨場感はもちろんだが、音も臨場感を出していくことが重要である。
臨場感を出すためには、音像定位(音の到来方向の再現)の再現を行っていく必要があり、本研究では、音像定位精度を高めることによって、高い臨場感を再現することを目的としている。

従来研究
環境音の収録では様々な方向を向いた場合の音を同時に収録する必要があるので、同心円状に放射状に16個のマイクを設置できる球形マイクロホンアレイを作製した。
実際に作製されたものが以下の左図、実験結果が以下の右図である。

様々な方法を提案した結果、「2ch」という方法が一番良い結果となったが、それでも0.33と低い値である。
「2ch」とは「2チャネル選択」のことで、例として正面0度方向に目的音があるときは90度方向の収録音を右のチャネルに、270度方向の収録音を左のチャネルに割り当てる方法である。

アプローチ方法
収音した音に特定方向の強調処理を行うことで、音像定位精度を上げることを考える。
システムの全体図を以下に示す。

遅延和アレイで特定方向を強調し、ウィーナーフィルタで強調した信号から背景雑音を取り除き、各方向に応じたHRTFを畳み込むことで、音像定位精度が向上するのかを検証する。

実験条件
実験条件と実験環境を以下に示す。

上図の環境で収音した音に処理を加え、HRTFを畳み込んだ音を被験者に聴いてもらい、目的音がどこから聞こえてくるかを回答してもらった。

実験結果
処理結果
強調処理と抑圧処理の実験結果を以下に示す。波形とSN比から、目的音が強調され雑音が抑圧されていることが分かる。

音像定位結果
音像定位実験結果を以下に示す。横軸が呈示角度、縦軸が回答角度、黒丸の大きさは回答者の人数を表しており、黒丸が大きいほど回答者も多いということを表している。
定位正答率を見てもらうと分かるが、従来法との間に差が現れなかった。差が現れなかった理由としては、処理した音が少し歪んでいたことが考えられる。また、他人のHRTFによる個人性の問題も挙げられる。

他人のHRTFを使用すると、前後誤りというものが生じることがある。前後誤りというのは正面0度方向から音が到来しているが、180度方向から音が到来しているかのように聞こえてしまうような前後の方向誤差のことである。
右図の提案法において、その前後誤りが多く見受けられたので、前後誤りを無いものとした結果を以下に示す。

まとめ

高い臨場感の再現
特定方向からの音の到来を感じさせる収音処理の提案

・全天球型に対応するようなマイクロホンアレイの作製

・遅延和アレイによる特定方向の強調

・ウィーナーフィルタによる周りの雑音の抑圧

強調処理と抑圧処理は良い結果を得られたが、音像定位実験では従来研究と提案法では結果に差が表れなかった。しかし、前後誤りを無いものとした場合においては提案法の方が、右上がり対角線上に円が集中し、定位できていることが分かった。

今後の課題

処理した音の歪みの削減
動的バイノーラル信号の作成・・・スマートフォンを用いて向いた方向の音を呈示するシステムを利用して、方向誤差がどのように変化するか検証する必要がある。

Kinectを用いた音声認識機能付きジェスチャー演奏

2016年12月26日に行われた3年生デモ大会で発表した内容です。
今回のデモ大会では、音階ごとに割り当てられたジャスチャーをすることで、
あらかじめ設定しておいた楽器の音を再生し、演奏ができるアプリケーションを
発表しました。
このアプリケーションは、起動中に、再生動作の入切を制御したり、特定の楽曲に
おいてガイド機能を利用したりすることが可能です。
入切の制御やガイド機能の起動に音声認識を使用しています。

開発環境
【OS】
Microsoft Windows 7 Professional + Windows 10 Home

【ツール】
Microsoft Visual Studio Ultimate 2010 + Visual Studio Community 2015
Microsoft Kinect for Windows SDK v1.8
Microsoft DirectX SDK (June 2010)

【機材】
Microsoft Kinect for Windows v1

詳細な説明や実際の動作については以下の動画をご覧下さい。

音声付き全天球画像によるバーチャルリアリティー

2016年7月28日に行われた4年生デモ大会での発表内容です。
今回のデモではスマートフォンをHMD(ヘッドマウンドディスプレイ)にセッティングし
画面に存在する四角い物体を視線マーカーで見るとピアノを演奏することができるアプリを発表しました。
またピアノ演奏アプリの応用として全天球画像に音声を付与し視線マーカーによる選択で環境音を鳴らすアプリも同時に発表しました。

システムの流れは以下の通りです。