音メディア処理研究室

 
ブログ

笑いの検出と笑い声の量の調整

2025年度のデモ大会で発表した内容です。

<概要>

本デモでは、Laugh detectionという深層学習モデルを使用し、笑い区分を抽出する。また、抽出した笑い区分を数値化し解析する。

<開発環境>

開発言語:Python

開発環境:Visual Studio Code

使用ライブラリ

・Numpy : 数値計算

・matplotlib : グラフの可視化

・librosa : 音声解析

・Pytorch : 笑い検出モデル

<発表資料>

Demucsを用いた楽曲音源分離および自録ボーカル差し替え再生

2025年度のデモ大会で発表した内容です。

<概要>

本デモでは、バンド音源を4つのパート(ボーカル・ドラム・ベース・その他)に分離し、分離した音源を用いて、自録ボーカルを差し替えて再生する環境を構築する。

<開発環境>

開発言語:Python

開発環境:Visual Studio Code

使用ライブラリ

・demucs(楽曲音源分離)

・tkinter(GUI構築)

・sounddevicce(音声再生制御)

・soundfile(音声ファイル読み込み)

・録音環境:Audacity

・使用音源:Fight/ハルカミライ youtubeより

<発表資料>

DJミックスにおいて最も重要なパートは何か?― 音源分離とBPM同期による違和感の比較 ―

2025年度のデモ大会で発表した内容です。

【概要】

本研究では、音源分離を用いて各パートを個別にBPM同期し、接続時の違和感を比較することで、
DJミックスにおいて重要なパートを明らかにすることを目的とした。

簡易DJディスクを用いて実験を行い、曲のつながりの自然さや違和感の強さを主観評価により評価した。その結果、drums パートを基準にBPMを揃えた場合が最も自然につながりやすいことが分かった。

【開発環境】

使用言語:Python

開発環境:Visual Studio Code

OS:Windows11

BPM変更・接続:Serato DJ Lite

使用楽曲:「カントリーロード」/ハルカミライ-YouTube上の楽曲音源を使用

:「星世界航行曲」/ハルカミライ-YouTube上の楽曲音源を使用

【発表資料】

音源分離を用いたバンド演奏のための個人練習支援システム

2025年度のデモ大会で発表した内容です。

<概要>

本デモでは、音源分離した4つのパートの再生を、顔の動きによって操作できるGUIを作成した。カメラ映像から取得した顔情報を用いて、上下左右の顔動作に応じて各パートのON/OFF操作を行う。

<開発環境>

開発言語:Python

開発環境:Visual Studio Code

使用ライブラリ

・Tkinter / ttkbootstrap (GUI作成)

・soundfile / sounddevice (音声ファイル読み込み、再生)

・OpenCV (映像取得)

・MediaPipe (顔検出)

<発表資料>

インパルス応答を用いた武道館音響の再現と、個人ライブ音源への適応

2025年度のデモ大会で発表した内容です。

<概要>

本デモでは、武道館の広さや空間の大きさ、反響の仕方などの情報から、簡易的なインパルス応答を作成した。また作成したインパルス応答を、ライン録りした個人のライブ音源に適用して、武道館でライブしているかのような音源を作成することを目的とする。

 

<開発環境>

開発言語:Python

環境  :Visual Studio Code、REAPER

OS    :Windows 11

 

<発表資料>

 

<実際の音源>

音源分離技術を用いた演奏者視点のバンド体験

2025年度のデモ大会で発表した内容です。

【概要】

本デモでは、楽曲を音源分離によって各パートに分解し、立体音響処理を用いてアンビソニック化したものをスピーカーで再生することで臨場感のあるバンド演奏空間を構成した。

さらに分離したピアノパートを演奏者自身の演奏に置き換えることで、バンドの一員として演奏している感覚を疑似的に体験できるとともに、実践的な個人練習や演奏の振り返りを可能にした。

【開発環境】

使用言語:Python

開発環境:音源分離モデル:htdemucs_6s

開発言語:Python

ソフトウェア:Visual Studio Code, Reaper

OS:Windows11

使用楽曲:「Pretender」/Official髭男dism-YouTube上の楽曲音源を使用

【発表資料】

 

【実際の演奏】

 

【参考文献】Reaperを用いたアンビソニックス立体音響音源の作成から再生までhttps://note.com/kimusho8/n/nf06bb90954e4