音メディア処理研究室

　
›
ブログ

音声データを扱ったゲーム

2014年12月19日に行われた3年生デモ大会での発表内容です。
今回のデモでは音声データ（今回は.wavと.mp3データやマイク）を読み込みスピーカやマイクを移動させていくゲームを作成した。

 スピーカは音量によって高さが変化するように作り、マイクは声の高さ（周波数）の高さによって操作できるようにゲームを作成していった。
音符の速度は一定速度で進んでいくように設定していった。

使用した環境
・Windows7
・processing-2.2.1-windows64bit

実際の動作は以下の動画に載せます。

Q.なぜ音量が大きいときに音符の間隔を狭くしていくように設定したのか
A.音量が大きいときは、曲が盛り上がっていると判断し、盛り上がっているときは音符の数を増やしていったほうがゲームとして楽しくなると考えたためである。

Q.なぜ300Hzで一番上の位置近くに行くように設定したのか
A.300Hzは3オクターブのDとD#の声の間にあり、テノールはC3～C5の範囲の声域を持ち、普段の生活で300Hz以上の声を出す機会がないと考え、今回は300Hz程度で一番上に行くように設定した。

まとめ
今回は声を出すということを用いてマイクを操作する方法を採ったが、実際に操作するとなるとマイクの位置が不安定になり、理想的な場所に持っていけないなどの問題があったので、ゲームとして楽しむためにはマイクの操作性について検討していく必要があると感じた。

補足
ゲームとして楽しむために点数を出すようにしたり、最後にクリア画面などを出すようにした。

 

心音の波形表示アプリ

iPhoneやiPodを胸に当てて心音を録音し、再生しながら心音の波形を表示するアプリを作成しました。

詳細は以下の動画をご覧ください。

成功例をまた後日貼り付けます。

使用パソコン:iMac

使用媒体:iPad mini

2013年12月19日デモ大会発表

Kinectを用いた人の向き感知と録音

２０１３年１２月１９日に３年生のデモ大会が行われました。

「Kinectを用いた、人の向き感知・録音」を行いました。

下の動画はその様子です。

わかりにくいかも知れないので簡単にデモ内容の説明

①人を見つけるとその人の向きをFace Trackingにより検出。

②正面を向いていると１０秒間の録音を開始（わかりやすいよう録音開始時と終了時にビープ音）。

③５秒間のインターバル後①に戻る。

開発環境：visual studio

使用ツール：Kinect

 

音の感知による音量調節

必要環境、機材

・PC(MATLAB)

・マイク

プログラムを実行し音楽を流す。手拍子などの大きい音を感知すると音量を下げるようになっており一定の音量を下回るとプログラムが終了する。

また、1度でも音量が下がっている状態で放置すると少しずつ音量がもとに戻っていくように設定されている。

家で音楽をスピーカーで流しながら聴いている際に来客があり

「音楽をとめたいがすぐに手が届かなくて操作がめんどうだ！！」

という問題を想定し作成。

映像↓

https://www-ai1.csis.oita-u.ac.jp/wp-content/uploads/2014/03/sample1.wmv

ケプストラム解析による声のピッチ抽出と音階の割り当て

デモの内容は下の動画で説明しているようにマイクから入力された音声を解析し、基本周波数（ピッチ）とそれに対応する音階を画面に出力するというものです。

動作環境はMATLABを使用しています。

 

音声電卓アプリ

簡易的な電卓に押した数字と入力した数字が発音されるように機能をつけた電卓アプリを作成しました。

詳細は以下の動画をご覧ください

作成に使ったパソコン：iMac
使用デバイス:iPad

2013年12月19日デモ大会発表