2022年度のデモ大会で発表した内容です。
[概要]
教師ありNMFを用いた楽曲の音源分離
楽曲のボーカルと楽器をMATLABでプログラムを実行して分離しました。
[開発環境]
MATLAB R2017b
Windows 10
詳しくは以下のスライドをご覧ください。
[スライド]
[音源] (Bearlin – Roads)
・教師データ
・分離前
・分離後
2023年1月17日に行われたデモ大会で、「Unityを用いたやまびこの再現」について発表しました。
音で思い浮かんだ言葉のうち、最初に出てきたものが「やまびこ」でした。そこで、やまびこをPC上で再現することにしました。
発表時に使用したスライドです。
仮想空間上で、観測者が山のほうへ「ヤッホー」と叫び、やまびこを聞き取るまでの状況を2つのシーンに分けて再現します。
開発環境として、Unity 3D（バージョン: 2021.3.8f1）を採用しました。
第1シーンでは、観測者から発せられた音波が山に反射する様子を再現します。観測者の音波は600個の球として発声者の前方へと球面状に放出され、地面に衝突した球の数や発声してから地面に衝突するまでに経過した時間を計測します。記録したデータはCSV形式で保存します。
仮想空間上の時間で15秒が経過した後、第2シーンに移行します。このシーンでは、観測者がやまびこを観測する様子を再現します。以前のシーンで計測したデータを読み込み、下記のサウンドエフェクタのパラメータに反映しています。
今回使用した音声は以下の通りです。
「やっほー」.mp3（効果音ラボ ver3.7 声素材 日常セリフ（元気な女の子） より）
https://soundeffect-lab.info/sound/voice/line-girl1.html
以下は、実際にプログラムを実行した動画です。
<実験環境>
PC: FMV LIFEBOOK UH75
CPU: Intel Core i7-8565U
<参考文献>
Unity、Audio SFX Reverb Effect – Unity マニュアル
https://docs.unity3d.com/ja/2018.4/Manual/class-AudioReverbEffect.html
2021年度に行われたデモ大会で体の動きに反応して音を鳴らすことをテーマとして発表したものです。
今回のデモではkinectを用いて音階を画面上に表示しました。
<開発環境>
Microsoft Visual Code
kinect
<実装できた機能>
①画面上の音階の枠内に手が入るとその音が鳴る
②音階の下に楽譜を表示した
下の動画は実際にKinectを用いてきらきら星を演奏したものである。
2021年度のデモ大会の内容です。
音声認識による音楽プレイヤーの操作を増やしたいと思い、
音楽再生アプリSpotify のWeb APIと、音声認識ソフトウェアのJuliusを利用して作成しました。
＜開発環境＞
＜概要＞
＜スライド資料＞
＜デモ動画＞
画面上半分はVisual Studio Code、下半分はSpotifyの再生画面を映しています。
プレイリストの曲が表示されていること、選択したアーティストの曲が流れていることが確認できます。
デモ動画で使用した楽曲の引用元は以下に記載しています。（ 曲名/アーティスト名 ）
※録音環境により、音が聞こえづらくなっています。
スライド内の映像が再生できなかったので、下に載せておきます。