音メディア処理研究室

KINECTによるLEGOマインドストームの音声入力制御のその２となります。

前回のシステムにロボットからの音声応答機能を追加しました。

詳細については，こちらのリンク先をご覧下さい。

http://youtu.be/usYgj7eTDmg

臨場感のある立体的な音を体験するためのアプリをiTunesで公開しました。

詳細は，立体音響体験のサポートページをご覧下さい。

http://www.youtube.com/watch?v=iwiMuLpbdS4

時間差デモ：時間差

音圧差デモ：音圧差

音圧差・時間差デモ：音圧差・時間差

担当：宮前 寛

http://www.youtube.com/watch?v=OeJTHLxf5TU

開発担当：小野 美幸， 指原 和幸

参考文献：永野 哲久，“iPhone Core Audioプログラミング”，ソフトバンククリエイティブ，2009

http://www.youtube.com/watch?v=EXFfJJNOxCg

開発担当：稲森 一聖，國松 央之

参考文献：金田豊，“Ｍ系列を用いたインパルス応答測定”，日本音響学会誌，52巻，10号，pp. 752-759, 1996

http://www.youtube.com/watch?v=PC3uDn7Yelg

　Kinectから取得できる音声データを利用して、ロボットの音声操作を行っています。使用しているロボットはレゴ社が発売している教育用ロボット「LEGO MINDSTORMS NXT」です。
　Kinectで取得した音声データを音声認識器にかけて文字列に変換し、文字列に応じたモータパワーをBluetoothを介してロボットに送信することでロボットの操作を行っています。NXTの制御には「NXT.NET for LEGO Mindstorms(http://nxtnet.codeplex.com)」を使用しています。

・ロボット操作の概要

１.Kinectにコマンドを発話
２.音声認識の実行
３.認識結果に応じたロボットのモータパワーを選択
４.bluetoothを通じてモータパワーを送信
５.ロボットが動作

音声認識器から出力される文字列は｛前に進め、後ろに進め、右に進め、左に進め｝の4通りです。

http://www.youtube.com/watch?v=FO1nxBdQzHc

開発担当：有滿 大輝，吉山 文教

参考文献：ＫＩＮＥＣＴ開発環境　http://www.microsoft.com/en-us/kinectforwindows/

http://www.youtube.com/watch?v=O96PpcBfAdg

　Kinectで取得できる3次元データを利用して、ロボットのジェスチャー操作を行っています。使用しているロボットはレゴ社が販売している教育用ロボット「LEGO MINDSTORMS NXT」です。
　Kinectで取得したスケルトン情報からジェスチャーを作成し、Bluetoothを介してロボットの操作を行っています。NXTの制御には「NXT.NET for LEGO Mindstorms(http://nxtnet.codeplex.com)」を使用しています。

　
・ロボットの操作の概要

①　腕の座標を取得する（左ひじ、左手、右ひじ、右手）

②　スケルトン座標で、左右をそれぞれの腕の角度を計算する

③　腕の角度を、モーターパワーとしてロボットに送信する

Kinectで検出した腕の角度をロボットのモーターパワーとし、腕の角度を変えることで、モーターパワーを変化させることができます。

参考文献：中村，田中，宮城，KINECT for Windows SDKプログラミングC#編，秀和システム，2012

 http://www.youtube.com/watch?v=3z6w483Ikrk

参考文献：http://julius.sourceforge.jp/