MATLABのGUI環境における可聴域検査

<背景>
可聴域とは人間の聞き取れる周波数領域を意味している。
一般的には20Hzから20000Hzまで聞こえると言われている。
年齢とともに可聴域は減少していく。
自分が今、どのくらいの周波数が聞き取れるか調査したいと考えた。

<システム概要>
利用者の可聴域を調べるためのシステムを作成した。
聞こえにくい周波数音源からテストを開始して、徐々に可聴できる周波数音源に変化していき、聞こえたと判断した時点でボタンを押し、テストを終了する。
その後、聞こえたと判断した周波数をもとにして確認テストを行う。

<使用した環境>
MATLAB

例として、人間が聞き取れるとされている20Hzと20000Hzの音源を用意した。
※音源を流す場合には音量に十分注意してください。
20Hz

20000Hz

以下は実際の発表の動画である。

GUIを用いた音響効果の付与

２０１６年１２月２６日に行われた３年生デモ大会の発表内容です。

このデモでは、GUIで操作し、音データにリバーブ（残響）を付与させるシステムを開発しました。

音源は２種類用意しており、その音源と、リバーブを付与したものを聞くことができます。リバーブは減衰率とリピート回数を設定することが可能で、それぞれ１０段階の値を設定できます。

以下、一方の音源の元音源と、減衰率０．５、リピート回数５でリバーブを付与した音源です。

元の音源

減衰率０．５、リピート回数５でリバーブをかけた音源

使用した環境

windows10
MATLAB

詳細は以下の動画でご覧下さい。

マルチチャネルスピーカーによる音源の移動再生

2016年12月26日に行われた3年生によるデモ大会で発表した内容です。

OS：Windows７

開発環境：MATLAB

24個のスピーカーを、部屋の周りに１つずつ配置して順番に、ダウンロードした音源を流しました。

詳細は以下の動画をご覧下さい。

音源分離を用いたヘッドホンによる臨場感の実現

2016年12月26日に行われたデモ大会で発表した内容です。
音源分離を用いることによりヘッドホンで音楽を聴く際に臨場感を実現できるのではないかということで
ボーカル、ピアノ、ドラムの3つで構成されている楽曲をそれぞれの要素に分離し
分離した3つの要素(ボーカル、ピアノ、ドラム)にそれぞれ正面、右、左のHRTFを畳み込んで再びミックスし
楽曲に臨場感を加えるといった発表をしました。

実際に作成したものです。

詳細は以下の動画をご覧ください。

音声認識を用いた視力検査アプリ

2016年12月26日に行われた３年デモ大会の発表内容です。

OS：Windows７

Androidバージョン：5.0.2

開発環境：Android Studio

開発言語：JAVA

音声認識：Google Speech APIを用いて

音声読み上げ：TTS(text-to-speech)システム

音声認識で視力検査が行えるアプリです。

詳細は以下の動画をご覧ください。

2016年12月26日に行われた3年生デモ大会で発表した内容です。
今回のデモ大会では、音階ごとに割り当てられたジャスチャーをすることで、
あらかじめ設定しておいた楽器の音を再生し、演奏ができるアプリケーションを
発表しました。
このアプリケーションは、起動中に、再生動作の入切を制御したり、特定の楽曲に
おいてガイド機能を利用したりすることが可能です。
入切の制御やガイド機能の起動に音声認識を使用しています。

開発環境
【OS】
Microsoft Windows 7 Professional + Windows 10 Home

【ツール】
Microsoft Visual Studio Ultimate 2010 + Visual Studio Community 2015
Microsoft Kinect for Windows SDK v1.8
Microsoft DirectX SDK (June 2010)

【機材】
Microsoft Kinect for Windows v1

詳細な説明や実際の動作については以下の動画をご覧下さい。

音声付き全天球画像によるバーチャルリアリティー

2016年7月28日に行われた4年生デモ大会での発表内容です。
今回のデモではスマートフォンをHMD(ヘッドマウンドディスプレイ)にセッティングし
画面に存在する四角い物体を視線マーカーで見るとピアノを演奏することができるアプリを発表しました。
またピアノ演奏アプリの応用として全天球画像に音声を付与し視線マーカーによる選択で環境音を鳴らすアプリも同時に発表しました。

システムの流れは以下の通りです。