音メディア処理研究室

　
›
ブログ

独立低ランク分析を用いた楽曲の音源分離

2023年度のデモ大会で発表した内容です。

<概要>

独立低ランク分析を用いた楽曲の音源分離
ボーカルと楽器ごとに分離するプログラムをPythonで作成しました。

 

<開発環境>

開発言語:Python

環境　　:Visual Studio Code

OS　　  :Windows 11

CPU      :11th Gen Intel(R) Core(TM) i7-1165G7 CPU @ 2.80GHz 2.80 GHz

 

<手法>

Vocalと楽器のそれぞれ独立した音源をコンピュータ内で畳み込み、その混合音を楽器ごとに分離しました。

このプログラムを、音源の数を２つから４つの場合で実行し分離結果を比較しました。

 

<使用した音源>

Young  Griffo/Facade(DSD100 | SigSepより)

 

<実行結果>

2音源(Vocal,Guitar)

・分離前

・分離後(vocal)

・分離後(Guitar)

3音源(Vocal,Guitar,Drums)

・分離前

・分離後(vocal)

・分離後(Guitar)

・分離後(Drums)

 

4音源(Vocal,Guitar,Drums,Bass)

・分離前

・分離後(vocal)

・分離後(Guitar)

・分離後(Drums)

・分離後(Bass)

 

＜まとめ＞

VocalとGuitarの音源が２つの場合では、混合前の音源と比較してもきれいに分離できました。しかし、音源数を増やすにつれて後ろでほかの楽器が小さく聞こえており、分離の精度は下がっていきました。特に、音源が４つの場合の分離後のVocalにDrumsとBassの音がにじみ出ていました。

<参考文献>

  • 戸上真人.”Pythonで学ぶ音源分離“.(2023/12/17)
  • Daichi Kitamura.“研究成果デモンストレーション”.2023/11/30. Daichi Kitamura (d-kitamura.net)(2023/12/17)

音楽と映像の調和と違和感

2022年に行ったデモ大会の資料です。

【概要】

音楽と映像における親和性または違和感について、動画を用いて以下の項目で比較、検討しました。

●1つの動画の音声のみを3パターン分に編集したものを視聴し、どれに違和感を覚えたかを検証

❶単音

❷会話音

❸歩行音

❹音楽