音メディア処理研究室

 
デモ大会2016

MATLABのGUI環境における可聴域検査

<背景>
可聴域とは人間の聞き取れる周波数領域を意味している。
一般的には20Hzから20000Hzまで聞こえると言われている。
年齢とともに可聴域は減少していく。
自分が今、どのくらいの周波数が聞き取れるか調査したいと考えた。

<システム概要>
利用者の可聴域を調べるためのシステムを作成した。
聞こえにくい周波数音源からテストを開始して、徐々に可聴できる周波数音源に変化していき、聞こえたと判断した時点でボタンを押し、テストを終了する。
その後、聞こえたと判断した周波数をもとにして確認テストを行う。

<使用した環境>
MATLAB

例として、人間が聞き取れるとされている20Hzと20000Hzの音源を用意した。
※音源を流す場合には音量に十分注意してください。
20Hz


20000Hz

以下は実際の発表の動画である。


GUIを用いた音響効果の付与

2016年12月26日に行われた3年生デモ大会の発表内容です。

このデモでは、GUIで操作し、音データにリバーブ(残響)を付与させるシステムを開発しました。

音源は2種類用意しており、その音源と、リバーブを付与したものを聞くことができます。リバーブは減衰率とリピート回数を設定することが可能で、それぞれ10段階の値を設定できます。

 

以下、一方の音源の元音源と、減衰率0.5、リピート回数5でリバーブを付与した音源です。

元の音源

 

減衰率0.5、リピート回数5でリバーブをかけた音源

 

使用した環境

  • windows10
  • MATLAB

 

詳細は以下の動画でご覧下さい。

マルチチャネルスピーカーによる音源の移動再生

2016年12月26日に行われた3年生によるデモ大会で発表した内容です。

OS:Windows7

開発環境:MATLAB

24個のスピーカーを、部屋の周りに1つずつ配置して順番に、ダウンロードした音源を流しました。

詳細は以下の動画をご覧下さい。

音源分離を用いたヘッドホンによる臨場感の実現

2016年12月26日に行われたデモ大会で発表した内容です。
音源分離を用いることによりヘッドホンで音楽を聴く際に臨場感を実現できるのではないかということで
ボーカル、ピアノ、ドラムの3つで構成されている楽曲をそれぞれの要素に分離し
分離した3つの要素(ボーカル、ピアノ、ドラム)にそれぞれ正面、右、左のHRTFを畳み込んで再びミックスし
楽曲に臨場感を加えるといった発表をしました。

実際に作成したものです。

詳細は以下の動画をご覧ください。

音声認識を用いた視力検査アプリ

2016年12月26日に行われた3年デモ大会の発表内容です。

OS:Windows7

Androidバージョン:5.0.2

開発環境:Android Studio

開発言語:JAVA

音声認識:Google Speech APIを用いて

音声読み上げ:TTS(text-to-speech)システム

 

音声認識で視力検査が行えるアプリです。

詳細は以下の動画をご覧ください。

Kinectを用いた音声認識機能付きジェスチャー演奏

2016年12月26日に行われた3年生デモ大会で発表した内容です。
今回のデモ大会では、音階ごとに割り当てられたジャスチャーをすることで、
あらかじめ設定しておいた楽器の音を再生し、演奏ができるアプリケーションを
発表しました。
このアプリケーションは、起動中に、再生動作の入切を制御したり、特定の楽曲に
おいてガイド機能を利用したりすることが可能です。
入切の制御やガイド機能の起動に音声認識を使用しています。

開発環境
【OS】
Microsoft Windows 7 Professional + Windows 10 Home

【ツール】
Microsoft Visual Studio Ultimate 2010 + Visual Studio Community 2015
Microsoft Kinect for Windows SDK v1.8
Microsoft DirectX SDK (June 2010)

【機材】
Microsoft Kinect for Windows v1

詳細な説明や実際の動作については以下の動画をご覧下さい。

音声付き全天球画像によるバーチャルリアリティー

2016年7月28日に行われた4年生デモ大会での発表内容です。
今回のデモではスマートフォンをHMD(ヘッドマウンドディスプレイ)にセッティングし
画面に存在する四角い物体を視線マーカーで見るとピアノを演奏することができるアプリを発表しました。
またピアノ演奏アプリの応用として全天球画像に音声を付与し視線マーカーによる選択で環境音を鳴らすアプリも同時に発表しました。

システムの流れは以下の通りです。

  • アプリ起動後HMD装着
  • 画面上に存在する四角い物体を選択するとピアノの音が鳴る
  • 左からド(赤)、レ(青)、ミ(黄色)、ファ(オレンジ)、ソ(黒)、ラ(緑)
    下に行って、シ(白)と鳴る。

開発環境

  • Windows 10
  • Visual Stadio 2015
  • Unity ver5.3.5
  • 開発言語C#

詳しい説明や実際の動作は以下の動画でご覧下さい。

https://youtu.be/LZORb61AR_Q

 

 

音声認識とフェイストラッキングを用いたアニメキャラクタへの変身

2016年7月28日に開催されたデモ大会の発表内容です

 

機能

kinectの音声認識と骨格認識を利用し、

プレイヤーの声を認識、その言葉に対応したキャラクターの顔を

画面上でプレイヤーの頭部分に貼り付けプレイヤーの動きに追従させる

詳しくは以下の動画をご覧ください

 

https://youtu.be/uqV6Yf9cPbk

 

開発ツール

・kinect

 

 

デジタル絵本用読み聞かせ音声

2016年7月28日に行われたデモ大会での発表内容です。


背景・目的

  • 小学校入学前の子どもと楽しむために絵本読み聞かせアプリケーションが複数存在する
    →ただし、ほとんどがすでに録音された音声を物語と共に再生するものである
    また、それ以外は自分の声を録音して再生するものである
  • 人工音声(または、感情音声)に関しての技術はロボットの音声、ガイド分の読み上げ等で主に使われている
  • 絵本読み聞かせに特化した音声合成ソフトは見かけない

人工音声で絵本読み聞かせのできるコンテンツを実現し、
読み聞かせの幅を広げたい

デモ内容

  • 規則音声合成ライブラリ「AquesTalk」を使用し、
    テキスト読み上げソフト「SofTalk」で録音した3種類の人工音声を比較する
    1.無修正人工音声
    2.修正人工音声①(速度:遅)
    3.修正人工音声②(速度:遅+間)
  • 文章:昔話「ももたろう」の始めの文より抜粋
    「むかしむかし、あるところにおじいさんとおばあさんがいました。
    おじいさんは山へ柴刈りに、おばあさんは川へ洗濯に行きました。」

%e7%84%a1%e4%bf%ae%e6%ad%a3%e4%ba%ba%e5%b7%a5%e9%9f%b3%e5%a3%b0

%e4%bf%ae%e6%ad%a3%e4%ba%ba%e5%b7%a5%e9%9f%b3%e5%a3%b0

%e4%bf%ae%e6%ad%a3%e4%ba%ba%e5%b7%a5%e9%9f%b3%e5%a3%b0%e2%91%a1

 

結果・考察

主観評価の結果、通常の速度より話速は遅く、句読点(、。)や文章の切れ目、「て・に・を・は」で間を入れると読み聞かせらしい音声に近づくことがわかった。

スマホを用いた仮想相対位置における音像定位システム

2016年7月28日に開催されたデモ大会の発表内容です

仮想的な音源と聴取者間の位置による音の変化を再現するシステムを作成しました。

システムの機能

  • システムを起動後 進みたい方向を向いてスマホを振るとその方向に進む
  • 画面上の音源(青色ブロック)と聴取者(赤色ブロック)の相対的な位置により音の聞こえる方向や音の大きさが変化

*画面上側を正面とします

システム構成図

fdsfasdd

デモ動画

動作は以下の動画をご覧ください。

また、3分10秒付近からは実際どのように音が変わるのかの動画を付け足していますので、

是非 ヘッドホンやイヤホンで聴いてみてください。

3分10秒以降の動画では 音源: 宝箱  キャラクター: 聴取者 となっています。

https://youtu.be/r1qwRMTBkHc

開発環境、ツールなど

 

  • Windows 7
  • Visual Stadio 2015
  • Android Studio  v 2.1.2
  • Java , C#
  • Unity v 5.3.5 (32-bit)
  • Android6.0