研究背景と目的
近年PCや携帯端末の普及等により、音楽を聴く機会が増加しました。
音楽は映像と同時に鑑賞することでより臨場感・高揚感を味わえるようになりますが、そのためには音楽の印象（明るい、激しい等）とマッチしている必要があります。
映像は外の風景・PV（プロモーションビデオ）・ライブ映像など様々ありますが、今回着目したのはビジュアライザ（音の波形を元に 動的な模様を作成し表示するソフトウェア ）です。
ビジュアライザの使用により、いつどこでも音楽と映像を楽しむことができます。
しかし、既存のビジュアライザには音楽の印象・雰囲気に応じて映像を変化させる機能は乏しいように見えます。
それを改善させるため今研究は、楽曲の印象を自動的に推定し、それに合った映像を表示するシステムを構築することを目的としています。
システム概要
流れとしては「解析処理」と「映像処理」の２つに分けて考えます。
解析処理では楽曲解析によりゆらぎ特徴を求め、印象を自動的に推定します。
推定された印象のデータを映像生成の部分に引渡した後、それに見合った映像を生成します。そして最終的に画面に出力します。
従来研究
従来研究は楽曲解析の側面において、ゆらぎ特徴を用いた方法があります。ゆらぎとは「繰り返されるパターンが時間的に変化する現象」で音楽にもゆらぎがあります。
上の図のように、音楽のジャンルによって周波数のパワースペクトルの傾きが異なってきます。このようなゆらぎ特徴を用いて楽曲印象を推定します。
映像に関する従来研究では、音楽と映像の相互作用についての研究があります。
音楽と映像が組み合わされたときに、私たちはそれに対し何らかの調和感もしくは非調和感を感じます。
例えば、赤色や紫色は楽曲印象を「迫力のある」ものにし、長調でテンポが速く明るい楽曲は「緑・黄・シアン」と相性が良いとされています。またクラシックのような伴奏形態をもつ音楽は、他のものと比べて映像作品に「拡がった」印象を与え、ロックは「拡がりのない」印象を与える。
このように、音楽と映像との間には様々な関係性があります。
実験
ゆらぎ特徴を用いて楽曲印象を推定します。印象は「明るい・暗い」と「激しい・穏やか」の２つで12曲を推定します。
あらかじめ主観評価で分類した結果「明るい・暗い」「激しい・穏やか」ともに各6曲づつに分類されました。その後解析した結果
上図は「明るい・暗い」と分類した曲。下図は「激しい・穏やか」と分類した曲。図から青色と緑色の丸がそれぞれまとまって分かれているのが分かり、
まとめ
これまでの結論として、ゆらぎ解析によりある程度の印象推定が可能とわかりました。
今後は映像に関する研究として、複数の要素（色・動き・速さ等）が組み合わさった映像に対する楽曲印象との関係性を調べていこうと考えています。
コメントを残す