音メディア処理研究室

大分VR観光プロジェクト

2025年度のデモ大会で発表した内容です。

<概要>

本デモでは、武道館の広さや空間の大きさ、反響の仕方などの情報から、簡易的なインパルス応答を作成した。また作成したインパルス応答を、ライン録りした個人のライブ音源に適用して、武道館でライブしているかのような音源を作成することを目的とする。

<開発環境>

開発言語:Python

環境　　:Visual Studio Code、REAPER

OS　　  :Windows 11

<発表資料>

<実際の音源>

2025年度のデモ大会で発表した内容です。

【概要】

本デモでは、楽曲を音源分離によって各パートに分解し、立体音響処理を用いてアンビソニック化したものをスピーカーで再生することで臨場感のあるバンド演奏空間を構成した。

さらに分離したピアノパートを演奏者自身の演奏に置き換えることで、バンドの一員として演奏している感覚を疑似的に体験できるとともに、実践的な個人練習や演奏の振り返りを可能にした。

【開発環境】

使用言語：Python

開発環境：音源分離モデル:htdemucs_6s

開発言語:Python

ソフトウェア:Visual Studio Code, Reaper

OS:Windows11

使用楽曲:「Pretender」/Official髭男dism-YouTube上の楽曲音源を使用

【発表資料】

【実際の演奏】

【参考文献】Reaperを用いたアンビソニックス立体音響音源の作成から再生までhttps://note.com/kimusho8/n/nf06bb90954e4

今回提案した手法で実験を行った際に用いた楽曲のうち、dev2__ultimate_nz_tourの信号を以下に記載する

混合音の信号

ドラムの信号

ボーカルの信号

提案手法　ドラム

提案手法　ボーカル

なお、提案手法の音源は、周波数２分割、時間２分割を行い、提案手法を適用した場合の信号である。この２つは、ドラムの信号なのに若干ボーカルの信号が混ざっていたり、その逆もあったりと、今後の研究で改善していく必要がある。

2024年度のデモ大会で発表した内容です。

<概要>

tab譜がない楽曲でも簡単にtab譜が作成出来たら効率よく練習ができると思い今回の実験に至った。

<開発環境>

開発言語:Python

環境　　:Visual Studio Code

<手法>

<実行結果>

[分離前音源]

使用音源　 swim/04 Limited Sazabys 　youtubeより

(元音源)

[分離後]

(bass)

(drum)

(その他(ギターや打ち込み音源など))

(vocal)

分離後分離した音源(今回はギターの音源)にコード分析を行うと約0.1秒ごとにコードを表示される。

その後指定のサイトにアクセスされこのコードをもとにtab譜を作成する事が可能になる。

<まとめ>

コード推定を行うことによりtab譜の作成スピードがギターを触って音を探りながらするよりも向上した。

コード推定の精度が上がればさらに効率アップにつながると感じた。

<参考文献>

・Qiita AI音声解析・分離ソフトDemucsの検証レポート

mitzi2funk 2024/10/21

https://qiita.com/mitzi2funk/items/2a9c3492ac13d0a9f399

・AI研究所 PyTorchとは？できることや使い方、インストール方法を分かりやすく解説　坂本将磨　2025/1/3

https://www.ai-souken.com/article/what-is-pytorch