音メディア処理研究室

　
›
ブログ

KINECTによるLEGOマインドストームの音声入力制御

http://www.youtube.com/watch?v=PC3uDn7Yelg

　Kinectから取得できる音声データを利用して、ロボットの音声操作を行っています。使用しているロボットはレゴ社が発売している教育用ロボット「LEGO MINDSTORMS NXT」です。
　Kinectで取得した音声データを音声認識器にかけて文字列に変換し、文字列に応じたモータパワーをBluetoothを介してロボットに送信することでロボットの操作を行っています。NXTの制御には「NXT.NET for LEGO Mindstorms(http://nxtnet.codeplex.com)」を使用しています。

・ロボット操作の概要
ロボットの音声操作図

１.Kinectにコマンドを発話
２.音声認識の実行
３.認識結果に応じたロボットのモータパワーを選択
４.bluetoothを通じてモータパワーを送信
５.ロボットが動作

音声認識器から出力される文字列は｛前に進め、後ろに進め、右に進め、左に進め｝の4通りです。

KINECTによるLEGOマインドストームのジェスチャー制御

http://www.youtube.com/watch?v=O96PpcBfAdg

　Kinectで取得できる3次元データを利用して、ロボットのジェスチャー操作を行っています。使用しているロボットはレゴ社が販売している教育用ロボット「LEGO MINDSTORMS NXT」です。
　Kinectで取得したスケルトン情報からジェスチャーを作成し、Bluetoothを介してロボットの操作を行っています。NXTの制御には「NXT.NET for LEGO Mindstorms(http://nxtnet.codeplex.com)」を使用しています。

　
・ロボットの操作の概要
ロボットのジェスチャー操作改良

①　腕の座標を取得する（左ひじ、左手、右ひじ、右手）

②　スケルトン座標で、左右をそれぞれの腕の角度を計算する

③　腕の角度を、モーターパワーとしてロボットに送信する

Kinectで検出した腕の角度をロボットのモーターパワーとし、腕の角度を変えることで、モーターパワーを変化させることができます。

参考文献：中村，田中，宮城，KINECT for Windows SDKプログラミングC#編，秀和システム，2012