音メディア処理研究室

 
デモ大会2019

Pythonを使ったリアルタイム音声変換

2020/1/10に行われたデモ大会で発表した内容です。

<開発環境>
・PyCharm(Pythonの統合開発環境)
・Python3.6

<概要>
録音した音声の音の高さや音色をリアルタイムで変換できるボイスチェンジャーをPythonで作成しました。

詳しい内容についてはスライドをご覧ください。

<サンプル音声>
ボイスチェンジャーを使って録音した音声です。
全て同じ男性の声で録音しています。

・通常の音声(音の高さ1倍、音色1倍)

・音の高さを1.5倍にした音声

・音の高さ2倍、音色を1.2倍にした音声

・宇宙人のように聞こえる音声

Ev3による音声認識

2020年1月10日に行われた3年生による「デモ大会」で発表した内容です。

  • 開発環境:TOPPERS/EV3RT
  • 音声認識機:Julius

<概要>指定された音声をマイクに話すとロボットが動作を開始します。

詳しくは以下の動画をご覧ください。

 

 

音声を使ったロボットアームの操作

2020年1月10日に行われた3年生による「デモ大会」で発表した内容です。

  • 開発環境:TOPPERS/EV3RT
  • 音声認識機:Julius

<概要>音声認識を使いロボットのアームを動かし、物体を左右に動かします。

詳しくは以下のスライドと動画をご覧ください。

 

 

HRTF畳み込みGUI

2020年1月10日に行われた、学部3年生による「デモ大会」にて発表した内容です。 立体的な音響の実現のために利用できるものとして、HRTF(頭部伝達関数)があります。このファイルを音声に畳み込むことで聞こえてくる方向を指定できます。

しかし、音源の準備、使用ファイルの選定、計算などが煩雑であることから、より直感的に視覚的に操作できるシステムが作れないか、と考えました。

環境、手法は以下の通りです。

[OS] Windows 10
[ソフトウェア] MATLAB R2017b
HRTFフィルタ 0~355の5度間隔(マサチューセッツ工科大学)
畳み込みたい音声ファイル(チャネル1)

実行結果は以下をご覧ください。

背景にグラフを用い、ボタンを円形に配置することで視覚に訴え、直感的に操作ができます。角度を選択し決定ボタンを押すだけで処理が完了します。

現在、ボタンは10度毎に配置されているため、フィルタに合わせ5度ずつにするなどして対応角度を増やす、複数選択できてしまうラジオボタンを排他的なものに変更するなど、改善の余地があることがわかりました。

詳細は以下のスライドをご覧ください。

wienerFilter適用による雑音の抑制

2020年1月10日に行われた3年生によるデモ大会にて、雑音抑制をテーマに発表を行いました。

詳しい内容は以下のスライドをご覧ください。
また、作成された音源はスライド番号ごとにまとめていますので、そちらでお聞きください。

音源再生用
〇スライド5
作成された音源

雑音 :白色雑音

目的音:男性の声

〇スライド7
ビームフォーミング後

wienerFilter適用後

〇スライド9
ビームフォーミング後

wienerFilter適用後

〇スライド11
ビームフォーミング後

wienerFilter適用後

オープンワールドにおける効果音の有用性

2020年1月10日に行われた3年生によるデモ大会で発表した内容です。

(概要)unityでプレイヤーの動きによって動物の鳴き声の聞こえ方が変化するオープンワールドのゲームを作成しました。

詳しくは以下のスライドと動画をご覧ください。