音メディア処理研究室

2021年度に行われたデモ大会で体の動きに反応して音を鳴らすことをテーマとして発表したものです。

今回のデモではkinectを用いて音階を画面上に表示しました。

<開発環境>

Microsoft Visual Code

kinect

<実装できた機能>

①画面上の音階の枠内に手が入るとその音が鳴る

②音階の下に楽譜を表示した

下の動画は実際にKinectを用いてきらきら星を演奏したものである。

2021年度のデモ大会の内容です。

音声認識による音楽プレイヤーの操作を増やしたいと思い、

音楽再生アプリSpotify のWeb APIと、音声認識ソフトウェアのJuliusを利用して作成しました。

＜開発環境＞

• Visual Studio Code
• Python

＜概要＞

• Spotifyの「お気に入りの曲」に登録している最新50曲の表示
• アーティスト名の選択　->　（同様に最新50曲の中の）曲のリストを表示
• 再生
• 次の曲へスキップ
• 曲の停止

＜スライド資料＞

＜デモ動画＞

画面上半分はVisual Studio Code、下半分はSpotifyの再生画面を映しています。

プレイリストの曲が表示されていること、選択したアーティストの曲が流れていることが確認できます。

デモ動画で使用した楽曲の引用元は以下に記載しています。（　曲名/アーティスト名　）

• 花束のかわりにメロディーを/清水翔太
• 恋唄/清水翔太
• Aitai/清水翔太
• 怪獣の花唄/Vaundy
• 東京フラッシュ/Vaundy

※録音環境により、音が聞こえづらくなっています。

2021年のデモ大会の内容です。

様々な音のある環境から必要な音だけを聞き取るために、教師データを用いた音源分離を利用した録音システムを作成しました。

[開発環境]

MATLAB R2017b

Windows 10

[スライド資料]

[音源]

・教師データ

・分離前

・分離後

デモ大会で発表した内容です。

[概要]
救急車のドップラー効果の再現

ドップラー効果の公式を用いて、周波数の計算を行い、MATLABで音を作成しました。

[開発環境]
MATLAB R2017b

詳しくは以下のスライドをご覧下さい。

[スライド]

[音源]
作成した救急車の音

(1)音の大きさを変化させた音

(2)(1)に加え、左右で出力する音量を変化させた音
（イヤホンで聞くと右から左に通り過ぎるように聞こえます）

[概要]
任意の曲の調を変更することによって、曲の雰囲気がどのように変わるのかを比較しました。

調の変更の際には近親調を使用しました。
近親調とは調の関係性のことです。

プログラムの流れは以下のようになっています。

今回、使用した楽曲は童謡の『蝶々』です。
『蝶々』の調はへ長調となっています。

[音源]

原音(ヘ長調　ファ  ソ  ラ  シ♭  ド  レ  ミ  ファ)

平行調(ニ短調　レ  ミ  ファ  ソ  ラ  シ♭  ド  レ)

同主調(へ短調　ファ  ソ  ラ♭  シ♭  ド  レ♭  ミ♭  ファ)

属調(ハ長調　ド  レ  ミ  ファ  ソ  ラ  シ  ド)

下属調(変ロ長調　シ♭  ド  レ  ミ♭  ファ  ソ  ラ  シ♭)