音メディア処理研究室

2018年12月21日に行われた3年生のデモ大会で発表した内容です。

<開発環境>Julius, TOPPERS/EV3RT

<概要>音声での入力に対応したマーカを黒線で囲まれた範囲内から探します。詳しくは以下の動画をご覧ください。

研究背景

研究目的

従来研究

従来研究の課題

アプローチ方法

実装した識別器の長所、短所

実験

正解率

実験条件

識別器のパラメータ

実験結果

特徴量の重要度

考察

まとめ

研究背景

従来研究

ビームフォーマ

空間クロススペクトルを用いたWienerフィルタ推定

解決したい課題

アプローチ方法

作製したマイクロホンアレイ

実験

実験結果

まとめ

•本研究は、小規模アレイによる雑音抑圧を行うために、拡散性雑音を抑圧する手法を提案した。

•今回の実験の結果では、MVDRとWienerフィルタの組み合わせに、帯域分割処理を用いて雑音抑圧を行い、従来法と比較して、SDを維持し、SNRを向上することができた。

研究背景

研究目的

聴診は専門的な知識が必要なため、コンピュータを用いることで一般の方でも
容易に心音を診断できる

従来研究

従来研究で用いられている心音の時間的特徴

心音は、Ⅰ音からⅡ音を一周期とする信号 であり、正常心音では聴取されない音
を心雑音という。

解決したい課題

聴診は様々な雑音下（空調音や話し声）で行われるためコンピュータで正しく
心音を識別することは困難ではないかと考えた

アプローチ方法

アプローチ方法
・周波数領域に着目した特徴量
・二値分類（正常か異常か）に強い識別器
・雑音抑圧

SVM（識別器）

マージンとは内部にデータ点のない、超平面に平行するスラブ平面の最大幅を
意味する 

MFCC（特徴量）

雑音抑圧

雑音を含んだ信号データのパワースペクトルから、雑音のパワースペクトルの
平均値をひくことで、雑音を除去する方法 

実験概要

実験条件

実験結果

周波数領域に着目した特徴量が心音には有効
雑音抑圧を行うことで心雑音までも抑圧している可能性がある

まとめ

研究の背景

• 音楽経験者であれば自分の好きな曲を演奏してみたいと思うであろう。もしも音楽の音響信号波形からコンピュータを用いて楽譜を書き起こす自動採譜が実現すれば、楽譜が手に入るだけでなく、リスナーの要求に合わせて音響信号をカスタマイズして一歩踏み込ん だ音楽鑑賞をすることができるなど、様々な効用がある。

研究の目的

• しかし、音高推定の問題 やリズム・拍節構造の認識の問題、雑音が混在していることが原因で、自動採譜は容易ではない。本研究では、音高推定に絞って研究を行い、自動採譜の支援をすることが目的である。

従来研究

• ピアノの単音に対してクロマベクトルを使用して音高推定を行う手法がある。クロマベクトルについては上の通りである。

解決したい課題

• 上の図はピアノのＦ４の音について計算したクロマベクトルを表しており、下の図はトランペットのＦ４の音について計算したクロマベクトルを表している。トランペットに関しては、どのフレームにおいても「Ｆ」ではなく「Ｃ」という音が最も大きい特徴を示していることがわかる。このことから、倍音成分の方がパワーが大きい楽器では正解率が低下してしまう。

提案手法

• 提案手法の全体の流れについては上の通りである。

• 提案手法においての音名推定部分の流れは上の通りである。

• 音名推定部分においての類似度評価の方法については上の通りである。

• 提案手法においての音高推定部分の流れは上の通りである。

• 類似度評価に用いた類似度は上の通りである。

実験

• 提案手法の音高推定の精度を調べるための実験であり、実験条件は上の通りである。

実験結果

• 実験結果は上の通りである。

まとめ

• 様々な楽器の音高推定の精度を向上させ、自動採譜の支援をすることが目的である。
• クロマベクトル同士の類似度評価、振幅スペクトル同士の類似度評価を用いた音高推定を提案した。
• 提案手法によって、どの楽器も音高正解率が向上した。

今後の課題

• データベースに使用する音を変更した場合の検証
• 楽器音の強弱によって周波数成分がどう変わるか調査