音メディア処理研究室

 
ブログ

音声を使ったロボットアームの操作

2020年1月10日に行われた3年生による「デモ大会」で発表した内容です。

  • 開発環境:TOPPERS/EV3RT
  • 音声認識機:Julius

<概要>音声認識を使いロボットのアームを動かし、物体を左右に動かします。

詳しくは以下のスライドと動画をご覧ください。

 

 

HRTF畳み込みGUI

2020年1月10日に行われた、学部3年生による「デモ大会」にて発表した内容です。 立体的な音響の実現のために利用できるものとして、HRTF(頭部伝達関数)があります。このファイルを音声に畳み込むことで聞こえてくる方向を指定できます。

しかし、音源の準備、使用ファイルの選定、計算などが煩雑であることから、より直感的に視覚的に操作できるシステムが作れないか、と考えました。

環境、手法は以下の通りです。

[OS] Windows 10
[ソフトウェア] MATLAB R2017b
HRTFフィルタ 0~355の5度間隔(マサチューセッツ工科大学)
畳み込みたい音声ファイル(チャネル1)

実行結果は以下をご覧ください。

背景にグラフを用い、ボタンを円形に配置することで視覚に訴え、直感的に操作ができます。角度を選択し決定ボタンを押すだけで処理が完了します。

現在、ボタンは10度毎に配置されているため、フィルタに合わせ5度ずつにするなどして対応角度を増やす、複数選択できてしまうラジオボタンを排他的なものに変更するなど、改善の余地があることがわかりました。

詳細は以下のスライドをご覧ください。

wienerFilter適用による雑音の抑制

2020年1月10日に行われた3年生によるデモ大会にて、雑音抑制をテーマに発表を行いました。

詳しい内容は以下のスライドをご覧ください。
また、作成された音源はスライド番号ごとにまとめていますので、そちらでお聞きください。

音源再生用
〇スライド5
作成された音源

雑音 :白色雑音

目的音:男性の声

〇スライド7
ビームフォーミング後

wienerFilter適用後

〇スライド9
ビームフォーミング後

wienerFilter適用後

〇スライド11
ビームフォーミング後

wienerFilter適用後

オープンワールドにおける効果音の有用性

2020年1月10日に行われた3年生によるデモ大会で発表した内容です。

(概要)unityでプレイヤーの動きによって動物の鳴き声の聞こえ方が変化するオープンワールドのゲームを作成しました。

詳しくは以下のスライドと動画をご覧ください。

効果音を用いたASMR音の作成

2018年12月21日に行われた3年生による「デモ大会」で発表した内容です。

OS : Windows7 Professional

開発環境 : MATLAB R2017b、Bien0.91a

バイノーラル録音環境 :[ハードウェア]ダミーヘッド、ORION、Bruel&Kjaer

[ソフトウェア]Orion32+Launcher、Audacity

 

今回用意した11個のフリー音源である効果音を、「バイノーラル録

音」方法で録音する・「Bien 0.91a 」というツールを使う・MATLAB

による畳み込みのプログラムを使うという3つの方法で、人にとって気

持ちよく聞こえる音「ASMR音」になるよう音源を立体音響化させまし

た。

また、バイノーラル録音でのみ、「スライム、パフを触る音」・「耳かきの音」もASMR音として作成しました。

“ASMR音とは何なのか?”  詳しい概要は、以下のデモの様子の動画をご覧ください。

また、複数人の方に実際に作成したASMR音を聞いてもらい、心地よさを体感してもらいました!

その様子<実演編>は以下の動画をご覧ください。

 

今回実演編で何人かの方に聞いていただいた、バイノーラル録音方式によるASMR音をいくつか載せます。

必ずイヤフォンを装着の上、是非、私が作成したASMR音をお楽しみください。

①煎餅を食べる音(1人目の方に紹介したもの)

<元々の音源>

<作成した音源>

②ポテチを食べる音(2人目の方に紹介したもの)

<元々の音源>

<作成した音源>

③キーボードを叩く音(3人目の方に紹介したもの)

<元々の音源>

<作成した音源>

○スライムを触る音(おススメ)

※注意※

ヘッドホンで聞く場合、立体音として聞こえない場合がございますので、必ずイヤフォンでお聞きください。

MATLABを用いた音源分離システム

2018年12月21日に行われた3年生によるデモ大会で発表した内容です。

<OS> Windows7

<開発環境> MATLAB R2013b

<概要>2つの音源に方向性を持たせ、目的音の方向からの音源を強調するシステムを構築し、音源分離を行いました。デモ大会では実際にその場で音源を録音して音源分離を行いました。

詳しくは以下の動画をご覧ください。

スピーカー再生による臨場感の実現

2018年12月21日に行われた3年生によるデモ大会で発表した内容です。

OS : Windows 7

開発環境 : MATLAB

動作環境 : Orion32+

16個のスピーカーを部屋の周りに配置して、元の音源とリバーブ付与した音源を正面、後方、左右のスピーカーからそれぞれ流しました。また、音量を調整することでより臨場感を向上させる工夫をしました。

元の音源(上), リバーブ付与した音源(下)

詳細は以下の動画でご覧ください。

ユーザーの感性に合わせた楽曲プレイリストの自動生成

2018年12月21日に行われた3年生によるデモ大会で発表した内容です。

<開発環境> MATLAB

<概要>ユーザーそれぞれが感じる楽曲印象(明るい・暗い など)の特徴を抽出し、個人の感性に合わせたオリジナル楽曲プレイリストを自動生成するシステムを作成しました。

詳しくは以下の動画をご覧ください。