音メディア処理研究室

 
多様な雑音環境下における音声認識のための最適な雑音抑圧方法の研究

多様な雑音環境下における音声認識のための最適な雑音抑圧方法の研究

研究背景

近年音声認識技術は様々なときに、様々な場所で、様々なときに用いられています。
この技術は雑音の無い環境における音声認識の精度はとても高いのですが、雑音のある環境での音声認識はまだ十分ではありません。

従来研究

私たちの研究室では、非負値行列因子分解(以下NMFと呼びます)を用いた研究を行っています。
その中で私たちの研究室の三浦さんによる、NMFをマルチチャネル拡張したマルチチャネルNMF(以下MNMFと呼びます)を用いた雑音抑圧手法があり、その手法ではMNMFでの空間相関行列での初期値にバイナリマスクを用いた際に、ランダムに与えていた従来法よりも雑音抑圧性能が向上しているといった研究があります。
三浦さんの研究に関してはこちらをご覧ください。

研究目的

街中には様々な雑音環境があり、いかなる環境においても雑音抑圧を行えることが必要です。
現状での雑音抑圧方法のひとつに非負値行列因子分解による手法があるのですが、その技術をさらに改良して音声認識率の向上を図りたいと考えています。

提案手法

この研究の最終目標として雑音環境の音声に対して雑音環境を判断し、判断した結果を基に最適な雑音抑圧方法とNMFを組み合わせて認識率の向上を図ります。
この時環境判断に関しては、事前に雑音環境を学習させたデータをもとに雑音環境を判断し、判断した結果を基にNMF処理した音声にたいして最適な処理方法を選択します。
そして、処理した音声を音声認識させ、音声認識結果を基に良かった場合はそのまま音声出力し、悪かった場合は処理方法を変更して再び音声認識をこころみるといった物となります。

本研究では、先ほどのようなシステムを実現する前段階として、処理方法を選択する際に、どのような手法のどのようなパラメータが、環境雑音に対して適切であるかどうかを調査します。
今回は特に、NMF処理の後処理としてウィナーフィルタとウェーブレット変換を用いた際における適切なパラメータと音声認識率との関係について調査します。

認識実験

認識実験では、本研究における提案手法が有効であるかどうかの実験を行いました。
この実験において、雑音環境はCHiMEChallenge4のデータからバス、カフェ、歩行者天国、交差点の4環境を、各環境で実際に目的音を収音したREALデータと、室内で録音した目的音を各環境データに畳み込んだSIMUの2種類の8通りの環境を対象に評価を行いました。
また、雑音環境の情報を与えて環境毎に手法を変えた既知の場合と環境の情報を与えていない未知との場合に分けて実験を行いました。

認識実験結果

認識実験の結果です。
環境が未知の場合、従来のNMFのみの手法と比べて大幅に単語誤り率が大きくなっており、従来手法を越えることはできませんでした。
また、環境が既知の場合も、未知の場合と比較して多少改善されていますが、それでも従来法を超えることはできませんでした。

考察

今回の実験ではまず認識実験の前に行った予備実験にて、予備実験の環境を想定した4環境を用意し、その環境でのSDR改善量からパラメータを選択しました。しかし、認識実験に用いた環境と全く同じではないため、そのことが認識率に影響を及ぼしているのではないかと考えています。
またパラメータの選択に関してですが、今回は、雑音を混入させた音声からウィナーフィルタまたはウェーブレット変換を用いた際のSDRの改善量からパラメータの選択を行ったのですが、SDR自体が改善していても音素が変質していたなどといったことも考えられるため、事前に検討する段階から音声認識率の良し悪しでパラメータの選択を行うべきであったと考えています。
また、雑音環境が既知の場合と未知の場合とを比較して、既知の場合のほうが単語誤り率が低いことから、環境情報を与えることは必要であると考えています

まとめ

本研究では、雑音環境に頑健な抑圧方法を実現するために、従来のNMFの手法に学習を用いた雑音抑圧方法を提案しました。
その中で、特に提案システムを実現する前段階として、どのような手法のどのパラメータが環境雑音に対して適切かどうかの調査に焦点をおき、NMF処理の後処理としてウィナーフィルタとウェーブレット変換を利用した認識実験を実施しました。
その結果認識実験では、従来手法を越える結果を得ることができず、その原因として、事前に検討していたパラメータが認識実験の結果と合わなかったなどといったことが考えられます。

今後の課題

今回の研究ではウィナーフィルタとウェーブレット変換を利用しましたが、それ以外の処理方法についても検討を行う必要があるのではないかと考えています。
また、考察にもありましたが事前に検討する段階においてSDRによる評価尺度ではなく、音声認識率による評価尺度にてパラメータを調査する必要があると考えています。
また、それらを十分に行った後、今後は学習の方法について具体的に検討する必要があると考えています。

« »

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です