(日本語) 音メディア処理研究室

研究背景

研究目的

従来研究

従来研究の課題

アプローチ方法

実装した識別器の長所、短所

実験

正解率

実験条件

識別器のパラメータ

実験結果

特徴量の重要度

考察

まとめ

研究背景

従来研究

ビームフォーマ

空間クロススペクトルを用いたWienerフィルタ推定

解決したい課題

アプローチ方法

作製したマイクロホンアレイ

実験

実験結果

まとめ

•本研究は、小規模アレイによる雑音抑圧を行うために、拡散性雑音を抑圧する手法を提案した。

•今回の実験の結果では、MVDRとWienerフィルタの組み合わせに、帯域分割処理を用いて雑音抑圧を行い、従来法と比較して、SDを維持し、SNRを向上することができた。

研究背景

研究目的

聴診は専門的な知識が必要なため、コンピュータを用いることで一般の方でも
容易に心音を診断できる

従来研究

従来研究で用いられている心音の時間的特徴

心音は、Ⅰ音からⅡ音を一周期とする信号 であり、正常心音では聴取されない音
を心雑音という。

解決したい課題

聴診は様々な雑音下（空調音や話し声）で行われるためコンピュータで正しく
心音を識別することは困難ではないかと考えた

アプローチ方法

アプローチ方法
・周波数領域に着目した特徴量
・二値分類（正常か異常か）に強い識別器
・雑音抑圧

SVM（識別器）

マージンとは内部にデータ点のない、超平面に平行するスラブ平面の最大幅を
意味する 

MFCC（特徴量）

雑音抑圧

雑音を含んだ信号データのパワースペクトルから、雑音のパワースペクトルの
平均値をひくことで、雑音を除去する方法 

実験概要

実験条件

実験結果

周波数領域に着目した特徴量が心音には有効
雑音抑圧を行うことで心雑音までも抑圧している可能性がある

まとめ

研究の背景

• 音楽経験者であれば自分の好きな曲を演奏してみたいと思うであろう。もしも音楽の音響信号波形からコンピュータを用いて楽譜を書き起こす自動採譜が実現すれば、楽譜が手に入るだけでなく、リスナーの要求に合わせて音響信号をカスタマイズして一歩踏み込ん だ音楽鑑賞をすることができるなど、様々な効用がある。

研究の目的

• しかし、音高推定の問題 やリズム・拍節構造の認識の問題、雑音が混在していることが原因で、自動採譜は容易ではない。本研究では、音高推定に絞って研究を行い、自動採譜の支援をすることが目的である。

従来研究

• ピアノの単音に対してクロマベクトルを使用して音高推定を行う手法がある。クロマベクトルについては上の通りである。

解決したい課題

• 上の図はピアノのＦ４の音について計算したクロマベクトルを表しており、下の図はトランペットのＦ４の音について計算したクロマベクトルを表している。トランペットに関しては、どのフレームにおいても「Ｆ」ではなく「Ｃ」という音が最も大きい特徴を示していることがわかる。このことから、倍音成分の方がパワーが大きい楽器では正解率が低下してしまう。

提案手法

• 提案手法の全体の流れについては上の通りである。

• 提案手法においての音名推定部分の流れは上の通りである。

• 音名推定部分においての類似度評価の方法については上の通りである。

• 提案手法においての音高推定部分の流れは上の通りである。

• 類似度評価に用いた類似度は上の通りである。

実験

• 提案手法の音高推定の精度を調べるための実験であり、実験条件は上の通りである。

実験結果

• 実験結果は上の通りである。

まとめ

• 様々な楽器の音高推定の精度を向上させ、自動採譜の支援をすることが目的である。
• クロマベクトル同士の類似度評価、振幅スペクトル同士の類似度評価を用いた音高推定を提案した。
• 提案手法によって、どの楽器も音高正解率が向上した。

今後の課題

• データベースに使用する音を変更した場合の検証
• 楽器音の強弱によって周波数成分がどう変わるか調査

平成26年10月3日に卒業研究の中間発表がありました。

そこで私が発表した内容を簡単に説明します。

・研究背景，目的

　　動画を撮る際に目的の人の声だけを聞きたい。周りの人の声やその他の雑音は聞きたくない。そのように思い、目的音方向の音のみの強調。を研究しています。

・使用デバイス

Kinect

・課題(複数人対応)

　カメラ範囲内の複数人から目的である人を見つけ出すため、骨格検出を行う。

　しかし、現在のKinectのスペックでは骨格検出可能人数は2人まで。

　3人以上いた場合は骨格検出対象者を切り替えていくことで解決させた。

・システムの流れ

　カメラ画像から目的の人のみを見つけ出し、その人の角度情報を取得。

　その角度でマイクロホンアレイで録音した音にMV法を適用し、スピーカーから出力する。

・予備実験①

　目的は

　目的の人を見つけ出せるか。

　角度の取得ができるか。

　の２つ

目的のどちらも成功！！！

・予備実験②

　目的

　角度を先に与えておき、二人画面上にいた場合の音声強調(MV法)の精度はどの程度か。

　実験の環境

　SN比の改善量

　男性方向の音の強調

　1.6949dB　→　5.3013dB　　　　　　　約3.6dBの改善

　女性方向の音の強調

　-1.6949dB　→　3.4998dB　　　　　　約5.2dBの改善

　結果

　有効であると判断。

まとめ

　この予備実験①と②を組み合わせることで画面上に複数人いた場合も目的音方向の音のみを強調することができるはず。

　今後は、この２つを組み合わせることを進めていき、最終的にはリアルタイムで処理できるようにしたい。

場所検索

(more…)

2月18日に卒業論文発表会を行ないました
そのときのスライドをHP用に手を加えたものです

スライドが見られない場合お手数ですが下記リンクからファイルをダウンロードしてください

マルチチャネルスピーカーにおける同時インパルス応答測定法の研究

googlemap web colour names .