音メディア処理研究室

 
ブログ

楽曲のBPM分析

2022年度のデモ大会で発表した内容です。

【概要】

楽曲の音声ファイルを読み込ませるだけで自動でBPMを算出するプログラムを作成しました。出力結果はフーリエテンポグラムと自己相関テンポグラム、BPMの数値です。

 

【開発環境】

使用言語:Python

環境:Google Colaboratory(Google Chrome上)

 

【発表資料】

 

【使用した音源】

夜明けと蛍/n-buna(piaproより)

 

ウミユリ海底譚/n-buna(piaproより)

 

教師ありNMFを用いた楽曲の音源分離

2022年度のデモ大会で発表した内容です。

[概要]

教師ありNMFを用いた楽曲の音源分離

楽曲のボーカルと楽器をMATLABでプログラムを実行して分離しました。

[開発環境]

MATLAB R2017b

Windows 10

 

詳しくは以下のスライドをご覧ください。

[スライド]

[音源] (Bearlin – Roads)

・教師データ

・分離前

・分離後

Unityを用いたやまびこの再現

2023年1月17日に行われたデモ大会で、「Unityを用いたやまびこの再現」について発表しました。

音で思い浮かんだ言葉のうち、最初に出てきたものが「やまびこ」でした。そこで、やまびこをPC上で再現することにしました。

発表時に使用したスライドです。


仮想空間上で、観測者が山のほうへ「ヤッホー」と叫び、やまびこを聞き取るまでの状況を2つのシーンに分けて再現します。

開発環境として、Unity 3D(バージョン: 2021.3.8f1)を採用しました。

第1シーンでは、観測者から発せられた音波が山に反射する様子を再現します。観測者の音波は600個の球として発声者の前方へと球面状に放出され、地面に衝突した球の数や発声してから地面に衝突するまでに経過した時間を計測します。記録したデータはCSV形式で保存します。

仮想空間上の時間で15秒が経過した後、第2シーンに移行します。このシーンでは、観測者がやまびこを観測する様子を再現します。以前のシーンで計測したデータを読み込み、下記のサウンドエフェクタのパラメータに反映しています。

  • ディレイ
    • 遅延時間:発声してから球が最初に衝突するまでの時間
  • リバーブ
    • 衝突した球数/全体:ドライ信号のミックスレベル
    • 山への衝突継続時間:低周波数の残響減衰時間

今回使用した音声は以下の通りです。

「やっほー」.mp3(効果音ラボ ver3.7 声素材 日常セリフ(元気な女の子) より)

https://soundeffect-lab.info/sound/voice/line-girl1.html

以下は、実際にプログラムを実行した動画です。

<実験環境>

PC: FMV LIFEBOOK UH75

CPU: Intel Core i7-8565U

<参考文献>

Unity、Audio SFX Reverb Effect – Unity マニュアル

https://docs.unity3d.com/ja/2018.4/Manual/class-AudioReverbEffect.html

ジェスチャーによるバーチャル楽器演奏

2021年度に行われたデモ大会で体の動きに反応して音を鳴らすことをテーマとして発表したものです。

今回のデモではkinectを用いて音階を画面上に表示しました。

<開発環境>

Microsoft Visual Code

kinect

<実装できた機能>

①画面上の音階の枠内に手が入るとその音が鳴る

②音階の下に楽譜を表示した

 

下の動画は実際にKinectを用いてきらきら星を演奏したものである。