音メディア処理研究室

2022年に行ったデモ大会の資料です。

【概要】

音楽と映像における親和性または違和感について、動画を用いて以下の項目で比較、検討しました。

●1つの動画の音声のみを3パターン分に編集したものを視聴し、どれに違和感を覚えたかを検証

❶単音

❷会話音

❸歩行音

❹音楽

2023 年 12 月に行われたデモ大会の内容です。

コロナ禍で自宅で気軽に音楽鑑賞をしたいという需要が増えているので、今回は VR 動画と立体音響に注目しました。

VR オーディオを簡単に制作できる手法の一つとしてアンビソニックマイクがあります。これは 360 度音を収音することが可能なマイクのことです。

<スライド1:アンビソニックマイク>

VR オーディオについては単一指向性のマイクでも作成することが可能であることを知り、単一指向性のマイクの本数が 2 本の時と 6 本の時とアンビソニックマイクの時でどのような違いが出るのか比較するために動画を撮影して比較してみました。

<スライド2, 3:背景・目的>

提案手法としてはまずアンビソニックマイクを 1 本と単一指向性マイクを合計 8 本を使って同時に収音し、THATA で撮影した映像と重ねます。
収音した音声については以下のように各マイク、本数ごとにフォルダを分けました。

＜フォルダ一覧＞
・アンビソニックマイク 1 本
・単一指向性マイク 2 本
・単一指向性マイク 6 本

単一指向性マイクで集音した音声については Adobe Premiere Pro を使い、立体的に聞こえるように編集しました。
また、使用した機材については以下の通りです。

<スライド4, 5:提案手法・使用機材>

撮影した環境は以下のようにしました。
マイクの位置関係は上からアンビソニックマイク、単一指向性マイク(6 本 → 2 本)です。

<スライド6:環境>

撮影して編集した動画については youtube にアップロードしました。
URL はこちらです。
1. アンビソニックマイク　H3-VR(Ambisonics)
2. 単一指向性マイク　2 本
3. 単一指向性マイク　6 本

<スライド7:動画>

最後に課題とまとめについてです。

まとめとしてはアンビソニックマイクであるH3-VRを使って収音したものが一番立体的に聞こえました。
また比較した主観としては、単一指向性マイクが6本ときのほうがわずかに2本の時よりも聞き心地がよかったです。

課題としては単一指向性マイクを6本で撮影した動画を編集するとき、映像に対して右側に当たるマイク 3 本が左側のおよそ 2 – 2.5 倍ほど音量が大きく音量バランスを調整するのにもっと良い塩梅にすることができたということが挙げられます。

<スライド8:課題、まとめ>

参考文献は以下の通りです。

<スライド9:参考文献>

2023年度のデモ大会で発表した内容です。

【概要】

Google Colaboration上のフォルダ内の音声ファイルに咳音があれば文字で報告するプログラムを作成しました。

【背景・目的】

　現在、新型コロナウイルスの影響で、スマートフォンやPCを利用したオンライン受診が広まっています。また、豚などの家畜の健康状態を把握するための咳音検出システムの研究・開発が進められています。そこで、私はPCで咳音検出を検出するプログラムが作成できるのではないかと考え、デモ大会に向けてプログラムに取り組みました。

【システム説明】

下図は、咳音のスペクトログラムと波形です。

波形やスペクトログラムの類似度を計算すれば、咳音の判定に使えるのではないかと考えました。

音声分析を行うために「短時間フーリエ変換」を用いました。

　スペクトログラムの差分、及び類似度を計算し、閾値を用いて咳音かどうかを判断します。類似度が830000以上1150000以下の時は咳と判定します。

【プログラムの使い方】

まず、スマートフォンで自身の咳や声の音を録音します。次に、その音声ファイルをパソコンに送り、Google Colaboration上のフォルダに入れます。プログラムを実行すると咳音かどうかが判断されます。

【デモ大会での実験】

デモ大会では11個の音声ファイルで実験しました。音声ファイルの内訳は、咳音が8個、「こんにちは」という音声が1個、「あー」と発した音声が2個、無音の音声ファイルが1個となっています。

【実験結果】

下図はコンソール上での出力結果です。

11個の音声ファイルのうち10個が適切に判別されました。誤って咳音が検出されたのは、「こんにちは」という音声でした。

【開発環境】

使用言語：Python

環境：Google Colaboration

【使用した音源】

自身で咳をしてスマートフォンで録音しました。咳音以外も自分の声で録音しました。録音には、スマートフォンアプリの「ボイスメモ」を使用しました。

<咳音の例>

＜「あー」という音声の例＞

【参考文献】

音声分析におけるフーリエ変換とスペクトログラムを理解する　　Qihttps://qiita.com/shirowanisan/items/6af2cc4c4be0c57bef06ta

『咳音検知技術/SoundTalksTM』を活用した飼養豚の体調管理に関する「日本初」の実証実験開始について　https://www.boehringer-ingelheim.com/jp/press-release/20211101-02　

2023年1月17に行われたデモ大会にて発表した内容です。

[実験環境]

・プログラム作成および実行：MATLAB2017

・音源の作成：Cakewalk by bandlab

[使用する用語の説明]

・クロマベクトル：音名を周波数軸として、パワーの分布を表現した特徴量

・コード：同時に演奏された2つ以上の和音

[発表内容]

初めに、今回の実験の大まかな手順について説明をします。

①推定したいコード音からクロマベクトルを構築し、なっている音を抽出する。

②抽出した音の組み合わせからコードを推定する

なお、今回の実験は打ち込み音源とギターを録音した音源の2つで行います。

[予備実験についての説明]

先述した発表にあたって、デモ大会本番に向けた予備実験を行いました。

発表本番を想定して、打ち込み音源とギターを録音した音源の2種類であらかじめ実験を行うことで本番の精度を上げることを目的としています。

[打ち込み音源を用いた予備実験]

予備実験の打ち込み音源で使用した楽器およびコードを以下に示します。

<使用楽器>

1. Piano1  2. Marimba 3. Harp 4. Soprano Sax 5. Nylon Gt. 6. Cello 7. Natural Lead

※楽器名はCakewalk by bandlabのプラグインを参照

<使用コード>

1. Cmaj  2. Gmaj  3. Amin  4. Emin  5. Dsus4  6. Bsus4  7. Gaug  8. F#aug  9. A#dim  10. Fdim

参考として使用したコード10パターンを鳴らした音源を示します。

各楽器に対して10個のコードの音源、計70個の音源を作成してコードの推定を行っていきます。

[ギターの実音源を用いた予備実験]

予備実験のギターの実音源に使用したエフェクトおよびコードを以下に示します。

<使用エフェクト>

1. AC-Top30 Basic Clean  2. The Crunch  3. Dirty

※エフェクト名はCakewalk by BandlabのアンプシミュレーターTH3を参照

<使用コード>

・先ほど打ち込み音源で使用した10個のコードを使用

各エフェクトに対して10個のコードの音源、計30個の音源を作成してコードの推定を行っていきます。

参考として、ギターで10個のコードを録音した音源を示します。

[実験結果]

MATLABにおける実行結果を以下に示します。

※この表の見方は0-1 ~ 0-10が正解のコード、1 -1 ~ 7-10が打ち込み音源で出力されたコード、11-1 ~ 13-10がギター音源で出力されたコードとなっています。

この表からもわかるように、打ち込み音源は5-1, 5-2, 5-4, 5-7, 5-10でミスがあり、ギターを録音した音源については、13-7, 13-8, 10-1, 10-2, 10-3でミスがありました。一方で、それ以外の音源は正解のコードが出力されていました。

[デモ大会本番で行った実験]

デモ大会では、予備実験に使用したプログラムを用いてデモを行いました。

打ち込み音源を用いた実験では、時間の都合上予備実験で用いたすべての音源に対してコード推定を行うことが難しかったため、使用した音源のうち1.Piano1と2.Marimbaの20個の音源のコードを推定しました。

ギターを録音した音源では、発表時にギターの音を録音したものを用いて実験を行いました。なお、こちらも時間の都合上10個のコードを演奏することが難しかったため、1. AC-Top30 Basic Cleanのエフェクトを用いて1. Cmaj  3. Amin  5. Dsus4  7. Gaug  9. A#dimの5つのコードを推定します。

[実験結果]

発表本番で行った実験の結果を以下に示します。

※0-1 ~ 0-10および00-1 ~ 00-10は正解のコード、1-1 ~ 2-10は打ち込み音源によって出力されたコード、14-1 ~ 14-5はギターの音源によって出力されたコードを示す。

表からわかるように、すべての音源において正常にコード推定ができていることがわかります。

[考察・まとめ]

今回のデモ大会では打ち込み音源・録音した音源の2種類の音源からクロマベクトルを生成してコードの推定を行いました。

発表時に行った実験ではすべてのコードを正常に推定することができました。

一方で、予備実験の際には正常に推定できていないコードが存在しました。この理由として

・楽器やエフェクトによって倍音成分の出方が異なる

・押さえ方が同じコードが存在すること(GaugとBaug, FdimとBdimなど)

が考えられます。これを踏まえたうえで倍音成分の除去を行うことでより推定制度が向上すると考えられます。

2022年度のデモ大会の内容です。

＜概要＞

VR動画に2D動画を合成させることにより、新たなVR動画を作成することを目的としている。

また、編集ソフトによる合成であれば、通常のVRカメラでは撮影できないような映像を制作することができる。

＜動画編集ソフト>

Adobe Premiere Pro

＜使用機材＞

RICOH | THETA S

ZOOM | H3-VR Handy Recorder

＜発表資料＞

＜デモ動画＞

＜参考資料＞
Adobe　合成動画を作成する方法
https://helpx.adobe.com/jp/premiere-pro/how-to/video-composite.html

Adobe　Premiere ProでのVR編集
https://helpx.adobe.com/jp/premiere-pro/using/VRSupport.html

wondershare　Adobe Premiere Proを使ってクロマキー合成をする方法をご紹介
https://filmora.wondershare.jp/adobe/make-chroma-key-video.html

2022年度のデモ大会で発表した内容です。

【概要】

楽曲の音声ファイルを読み込ませるだけで自動でBPMを算出するプログラムを作成しました。出力結果はフーリエテンポグラムと自己相関テンポグラム、BPMの数値です。

【開発環境】

使用言語：Python

環境：Google Colaboratory(Google Chrome上)

【発表資料】

【使用した音源】

夜明けと蛍/n-buna(piaproより)

ウミユリ海底譚/n-buna(piaproより)

2022年度のデモ大会で発表した内容です。

[概要]

教師ありNMFを用いた楽曲の音源分離

楽曲のボーカルと楽器をMATLABでプログラムを実行して分離しました。

[開発環境]

MATLAB R2017b

Windows 10

詳しくは以下のスライドをご覧ください。

[スライド]

[音源]　(Bearlin – Roads)

・教師データ

・分離前

・分離後

2023年1月17日に行われたデモ大会で、「Unityを用いたやまびこの再現」について発表しました。

音で思い浮かんだ言葉のうち、最初に出てきたものが「やまびこ」でした。そこで、やまびこをPC上で再現することにしました。

発表時に使用したスライドです。

仮想空間上で、観測者が山のほうへ「ヤッホー」と叫び、やまびこを聞き取るまでの状況を2つのシーンに分けて再現します。

開発環境として、Unity 3D（バージョン: 2021.3.8f1）を採用しました。

第1シーンでは、観測者から発せられた音波が山に反射する様子を再現します。観測者の音波は600個の球として発声者の前方へと球面状に放出され、地面に衝突した球の数や発声してから地面に衝突するまでに経過した時間を計測します。記録したデータはCSV形式で保存します。

仮想空間上の時間で15秒が経過した後、第2シーンに移行します。このシーンでは、観測者がやまびこを観測する様子を再現します。以前のシーンで計測したデータを読み込み、下記のサウンドエフェクタのパラメータに反映しています。

• ディレイ
  • 遅延時間：発声してから球が最初に衝突するまでの時間
• リバーブ
  • 衝突した球数/全体：ドライ信号のミックスレベル
  • 山への衝突継続時間：低周波数の残響減衰時間

今回使用した音声は以下の通りです。

「やっほー」.mp3（効果音ラボ ver3.7 声素材　日常セリフ（元気な女の子）　より）

https://soundeffect-lab.info/sound/voice/line-girl1.html

以下は、実際にプログラムを実行した動画です。

<実験環境>

PC: FMV LIFEBOOK UH75

CPU: Intel Core i7-8565U

<参考文献>

Unity、Audio SFX Reverb Effect – Unity マニュアル

https://docs.unity3d.com/ja/2018.4/Manual/class-AudioReverbEffect.html

2021年度に行われたデモ大会で体の動きに反応して音を鳴らすことをテーマとして発表したものです。

今回のデモではkinectを用いて音階を画面上に表示しました。

<開発環境>

Microsoft Visual Code

kinect

<実装できた機能>

①画面上の音階の枠内に手が入るとその音が鳴る

②音階の下に楽譜を表示した

下の動画は実際にKinectを用いてきらきら星を演奏したものである。

2021年度のデモ大会の内容です。

音声認識による音楽プレイヤーの操作を増やしたいと思い、

音楽再生アプリSpotify のWeb APIと、音声認識ソフトウェアのJuliusを利用して作成しました。

＜開発環境＞

• Visual Studio Code
• Python

＜概要＞

• Spotifyの「お気に入りの曲」に登録している最新50曲の表示
• アーティスト名の選択　->　（同様に最新50曲の中の）曲のリストを表示
• 再生
• 次の曲へスキップ
• 曲の停止

＜スライド資料＞

＜デモ動画＞

画面上半分はVisual Studio Code、下半分はSpotifyの再生画面を映しています。

プレイリストの曲が表示されていること、選択したアーティストの曲が流れていることが確認できます。

デモ動画で使用した楽曲の引用元は以下に記載しています。（　曲名/アーティスト名　）

• 花束のかわりにメロディーを/清水翔太
• 恋唄/清水翔太
• Aitai/清水翔太
• 怪獣の花唄/Vaundy
• 東京フラッシュ/Vaundy

※録音環境により、音が聞こえづらくなっています。