音メディア処理研究室

 
研究内容

マイクロホンアレーを用いた人間の聴覚機能モデル化

(1) 音を見つける:音源方向推定の研究

音が聞こえたときに、人間はどこで音が鳴っているかを一瞬で見つけ出します。 この機能をコンピュータを使って実現します。この機能が実現できれば、 ロボットに話しかけた人が誰かを識別したり、 テレビ会議で発言者の方向を検出してカメラでクローズアップをしたり、 騒音源を調査したり、また、遠隔監視で異常音の発生位置を見つけたりでき、広い応用が考えられます。

(2) 音を聞き分ける:音源分離の研究

パーティーなどで複数人が同時に話している環境でも、人間は特定の人の声を聞き分けることができます。 これは、「カクテルパーティー効果」と呼ばれている聴覚機能の一つです。 昔、聖徳太子は十人の話を同時に聞き分け理解したそうですが、 将来、コンピューターを使って誰でも聖徳太子と同じ能力を再現できるかもしれません。

(3) 音を回復する:残響抑圧・雑音抑圧の研究

周囲の雑音や部屋の残響(響き)によって音声が妨害され、音声が聞き取りにくくなることがあります。この雑音や残響に埋もれた音声をクリアな音声に回復するのが残響抑圧・雑音抑圧処理です。人間の聴覚機能を支援する補聴システムや通信会議システムに応用が考えられます。

(4) 音を識別する:音識別の研究

人間は、音を聞いて音から様々な情報を抽出し、それが何の音かどのような状況であるかを識別・認識しています。 所謂、音で場の雰囲気・状況を読んでいる訳です。これをコンピュータで実現できれば、場の雰囲気を読んで その場にあった様々なサービスを提供することが可能になります。


マルチチャネル音響システム

(1) 音を調べる:音響特性の計測・分析技術の研究

音質を決める大きな要因のひとつはスピーカやマイクロホンの特性と音が鳴っている部屋の特性です。 これらの音響特性をコンピュータを使って計測し、音質に寄与する要因の分析を行う技術を研究します。 音質の良し悪しは最終的には人間が聞いて評価するため、 まだ、物理特性との関係が分からない点も多くあります。 皆さんも普段聞いている音を調べてみたいと思いませんか?

(2) 音を加工する:立体音像制御方式の研究

最近の音楽制作において音はディジタル化されコンピュータ上で操作されています。特に、複数のスピーカを利用する マルチチャネル音響システムにおいては、空間的な音像(音の位置)を操作するのは人手だけでは困難です。 ここでは、音を収録して立体音像再生するための音像制御方式を研究します。


モバイル端末を用いた音メディア処理の様々な分野への応用

(1) 医療応用:医療診断音分析の簡易化の研究

医療分野において心音、呼吸音など様々な音を用いた診断がなされています。 これらの音を特別な機器を使うのではなく、 モバイル端末アプリとして実装し簡易に録音・分析することによって日々モニタリングし、 健康チェックに役立てます。また、ネットワークからの情報や 他の各種センサーと連動して分析することにより、 普段、気がつかなかった健康状態を知ることができます。

(2) エンタテーメント応用:各種センサーと音メディアの連動によるヒューマンインターフェースの研究

モバイル端末に備わっているカメラ、加速度センサー、タッチセンサー、 マイクロホン、位置センサー等の各種センサーと音メディアを 連動させてエンタテーメント性の高い新しい表現法を研究します。 モバイル端末アプリとして実装し、多くの人に使ってもらい評価してもらいます。

過去の研究

詳細については,こちらのリンク先をご覧下さい。