2016年12月26日に行われた3年生によるデモ大会で発表した内容です。

OS：Windows７

開発環境：MATLAB

24個のスピーカーを、部屋の周りに１つずつ配置して順番に、ダウンロードした音源を流しました。

詳細は以下の動画をご覧下さい。

2016年12月26日に行われたデモ大会で発表した内容です。
音源分離を用いることによりヘッドホンで音楽を聴く際に臨場感を実現できるのではないかということで
ボーカル、ピアノ、ドラムの3つで構成されている楽曲をそれぞれの要素に分離し
分離した3つの要素(ボーカル、ピアノ、ドラム)にそれぞれ正面、右、左のHRTFを畳み込んで再びミックスし
楽曲に臨場感を加えるといった発表をしました。

実際に作成したものです。

詳細は以下の動画をご覧ください。

背景・目的

楽器の練習には実技練習も大切だが、理想の音のイメージを持つ事も重要であり、プロの演奏を録音したCD 音源を聴く方法が気軽に出来る為多く行われているが、奏者がどんな音を聴いて吹いているかは分からない。

そこで、経験楽器であるフルートに着目して”フルート演奏の技術向上のためのプロの音源を演奏者が聴いている音に変換する演奏支援システムの開発”を目指して、本研究ではフルート奏者と聴取者の聞いている音の違いを客観評価を含めて明らかにすることを目的とする。

アプローチ方法

• 録音音源の分析(客観評価)
• 聴覚的違いの主観評価
• 録音条件

分析

周波数特性の比較を行った結果、全体的に演奏者側で聴く音の方が音圧が高く高周波数帯では差が大きかった。

また、波形を比較した結果

聴覚的違いの主観評価

フルート経験者５名にaとbどちらが吹いている感覚に近いか回答してもらった。
その結果、聴取者側の音源では息をはきながら聴いた方が演奏時の感覚に近いという結果が得られた。

まとめ

フルートにおける演奏技術向上の支援のシステム開発の第一歩として、奏者と聴取者の聴こえの違いを客観評価を含む分析を行った。
分析の結果、その時々の演奏者コンディションの影響もあるとは考えられるが、奏者と聴取者それぞれの聴く音には周波数特性や波形に違いがある事が分かった。主観評価では、音源によって差はあるが息をはきながら音源を聴くと通常時よりも演奏している感覚に近いという結果が得られた。

卒論発表_1353004

研究背景

• 幼い頃に一度は親や先生にしてもらった絵本の読み聞かせ
• 読み聞かせは親と子のコミュニケーションの手段だけではなく
  科学的にも効果があると実証されている
  • 読み聞かせ中の脳の働きを調べる実験（泰羅雅登研究チーム、2008 ）

• 近年スマートフォンの普及により絵本に関するアプリケーションが多数存在する

従来の絵本アプリケーションについて

• 絵本を扱うアプリケーションは大きく分けて3種類ある
  • 「紙絵本をデジタル化し自由に読むことができるもの（動く絵本を含む）」
  • 「ナレーションによる読み聞かせを行ってくれるもの」
  • 「自分のオリジナルの絵本が作成できるもの」

• 読み聞かせを行ってくれるアプリケーションはあらかじめ
  録音された音源を再生しているだけである
  • そのため、従来の絵本の内容と異なる絵本（創作絵本など）を読んでくれるアプリケーションは存在しない

オリジナル絵本の読み聞かせを行うにあたり、
自由な発話が行える音声合成システムに着目

• 現存している物語のパロディ作成＆読み聞かせを行うことのできる児童向けアプリ「こえでものがたりをつくろう！」を作成
• 音声合成システムとして、Android用読み上げ機能TTS（Text To Speech）を使用し読み聞かせを行っている

研究目的

作成したアプリの読み聞かせ音声は単調で
実際の人間が絵本の読み聞かせをした際の音声と異なるように感じた

より絵本の読み聞かせ時の音声に近い
「絵本読み聞かせ風人工音声」を作成する必要がある

絵本を読み聞かせる際の声に着目し、
絵本読み聞かせ音声の特性を分析

関連研究

「乳児の絵本読み聞かせ場面における情緒応答的かかわりに関する研究–母親と女子大学生の比較–」
（高島由佳子、200９）

母親10名と育児未経験者である女子大学生15名の
乳児（生後5か月）10名に対する対応の違いを比較している

→対乳児音声の特徴など

＜結果＞

母親、学生ともに、乳児音声の基本周波数、持続時間が共に
上昇、増加し、読み聞かせ時にマザリーズが出現する

マザリーズ（対乳児音声）

• マザリーズとは養育者が乳幼児に話しかける時の音声で、別名
  対乳児音声（Infant-directed speech;IDS）とよび、
  成人に話しかける時の音声を対成人音声（Adult-directed speech;ADS）とよぶ
• IDSはADSよりも幼児の注意を引き、親しみやすい印象を与える
• IDSの特徴
  • 基本周波数が高い
  • 基本周波数の変動範囲が広い
  • 発声時間が短い
  • 発話ポーズが長い
  • 発声速度が遅い　　　　など

解決したい課題

絵本読み聞かせ風人工音声の作成に向けて
絵本を読み聞かせる際の声に着目

対乳児音声の特徴項目を参考に
絵本読み聞かせ時の音声の特徴を
主観的なものだけではなく、数値的に分析

アプローチ方法

• 子どもへの絵本の読み聞かせ経験のある者数名を話者に選定し、音声を録音
• 使用絵本は絵本ごとの特徴がみられる可能性があるため複数冊用意
• 絵本読み聞かせ音声との比較としてニュース原稿の朗読も行う
• 対乳児音声の特徴を元に録音音声をPraatで分析、分析する項目は以下の通りである
  • 基本周波数（ピッチ）
  • 発声時間
  • 発話ポーズ時間
  • 発声速度

分析

普段小中学生を対象に活動している絵本読み聞かせサークル
「結い」に所属している20代の女子学生3名を話者として、
絵本読み聞かせとニュース原稿の朗読を行ってもらい、
録音音声をpraatにて分析

録音システム：スマートフォン用録音アプリ「Hi-Q MP3 Rec」
（サンプリングレート：44kHz、ビットレート：128kbps）

録音環境：大学内の空き教室

分析に使用した絵本

• 図書館の職員と話者である結いの学生に協力してもらい、
  絵本を選定
• 音素バランス性も考慮し、選定した絵本は大きく分けて
  日本人作家と外国人原作の絵本の二つである

【日本人原作絵本】

• 「ぐりとぐら」　作：中川李枝子　画：大村百合子
• 「めっきらもっきら　どおんどん」　作：長谷川摂子　画：降矢奈々

【外国人原作絵本】

• 「すてきな　三にんぐみ」　作：トミー=アンゲラー　訳：今江祥智
• 「かいじゅうたちのいるところ」
  原作：モリース・センダック　訳：神宮輝夫

分析に使用したニュース原稿

音声言語としては最も規範性が高いと評価されるNHK
アナウンサーのニュース朗読の一例としてとりあげられている
自然なイントネーションによるニュース朗読原稿を使用

分析結果

上記の結果をまとめた表↓

考察

＜今回得られた絵本読み聞かせ音声の特徴＞

従来の対乳児音声の特徴をほぼ得ていたが、発声速度に関しては対乳児音声の特徴と異なる結果が得られた

→これは、聴取者である子どもが聞き取りやすいよう、話者が一文字一文字、丁寧にハキハキと絵本を読んでいるからと考えられる

＜読み方の特徴＞

• 句読点（、。）や文章の切れ目、「て・に・を・は」で間をあける
• 「おおきな」「いっぱい」などの大きさや量を表す単語を強調する

まとめ

• 多数の絵本読み聞かせアプリケーションが存在するが、
  オリジナル絵本の読み聞かせを行ってくれるものは存在しない

→絵本読み聞かせ風人工音声の作成を提案

• 作成のため、対乳児音声の特徴項目を元に絵本読み聞かせ時の音声の特徴を主観的なものだけではなく、数値的に分析

→従来の対乳児音声の特徴をほぼ得ていたが、発声速度に関しては対乳児音声の特徴と異なる結果が得られた

＜今後の進め方＞

絵本の物語の展開や会話文と地の文、登場人物の感情ごとに
分析し、より細かく特徴を調べ、変化があるのかを検討していく必要がある

学士論文

卒論発表スライド

研究背景

近年、テレビ会議など離れた場所で同時に会議をするツールが普及してきている。会議室の音声を収音する際、音声のほかに空調の音が混入してしまったりデータの送信時に電気ノイズが付加される場合がある。そういった雑音を抑圧し、より聞き取りやすい音声にすることで会議自体もスムーズに行われる。

研究目的

雑音抑圧の処理の中でも雑音抑圧マイクロホンアレイ(AMNOR)は小規模のマイクロホンアレイでより雑音の抑圧処理の効果を高めるために人の耳では気にならない程度の目的音声の劣化を許容して雑音抑圧の効果を高めている。
本研究では適応形雑音抑圧マイクロホンアレイ(AMNOR)をテレビ会議で用いる際の課題を挙げ、解決のための提案をする。

マイクロホンアレイとビームフォーマ

基本事項としてマイクロホンアレイとビームフォーマという信号処理について説明する。マイクロホンアレイとは複数のマイクロホンをアレイ状にしたものである。本研究では特に直線状アレイのことを指すこととする。マイクロホンアレイを用いて収音することで音の空間的特徴をとらえることが出来る。

ビームフォーマは信号処理の一つでマイクロホンアレイでの収音で得られた音の空間的特徴を用いて位相や振幅を制御する信号処理を実現する。ビームフォーマなど信号処理は雑音抑圧フィルタを作成し、収音した信号に畳みこむといった処理となる。

従来研究：適応形雑音抑圧マイクロホンアレイ(AMNOR)

適応形雑音抑圧マイクロホンアレイ(以降AMNORとする)は雑音抑圧処理の一つで、目的音信号の劣化を許容する代わりにより雑音を抑圧するという特徴がある。AMNORはマイクロホンアレイ、可変デジタルフィルタ、フィルタ制御部の三つで構成されている。フィルタ制御部で係数を増減させることでフィルタの特性を変化させ、許容劣化量を満たすフィルタを設計する。

劣化量と出力信号に残る雑音量

フィルタ内係数と劣化量の関係、また劣化量と出力信号に残る雑音量の関係について説明する。以下に示す図の青線は係数を10の-10乗から10の10乗まで変化させた時の劣化量の変化を表している。グラフから劣化量は係数に対して単調減少することが分かっている。また赤線はその時の出力信号に残る雑音量を示しており、劣化量と雑音量がトレード・オフの関係にあることが分かっている。

課題

AMNORのフィルタを作成するとき初めに許容できる劣化量を指定する必要がある。目的音声と雑音量のトレード・オフの関係から何度か劣化量を変えてフィルタを作成し、より良い信号を選択する。
テレビ会議でこの手法を用いる場合、こういった試行錯誤が出来ないため、多くの人に許容させる劣化量を自動で指定する必要があると考えられる。

提案

提案として、既得情報から劣化量を求める方法として入力信号のSN比を基準に劣化量を選択することを提案する。具体的にはSN比ごとの劣化量を主観的に測定し、測定結果の散布図から近似式を作成する。そして実際にフィルタ処理をする際はその近似式を用いて入力信号のSN比から劣化量を求めることが出来るようにする。

実験

主観実験をおこなった。入力信号のSN比が-20dBから20dBまでの５つの信号を用意し、それぞれ固定劣化量0, 0.1, 0.3と提案法による劣化量で処理した信号を聞いてもらい比較する。

実験方法はシェッフェーの一対比較法(浦の変法)を用いた。実験条件を以下に示す。

実験結果

以下に実験結果を示す。縦軸が平均評価値で負に大きい方が良いという評価を得て、正に大きい方が評価を得られなかった、つまり相対的に悪い評価となったことを示す。

横軸にデシベル別信号ごとの結果を表示している。提案法と劣化量を0.1に固定した音声に良い評価が集まっていることが分かる。提案法は劣化量を0と0.3に固定した信号に対して有意差がみられた。また有意差は見られなかったが入力信号のSN比が-10dBと20dBの信号を除いて0.1に固定した信号の法が良いという結果となった。

考察

雑音が多少残ってしまっても劣化量の少ない信号が良いという結果になった。近似式を作成する際に主観的測定のデータを増やすことでより多くの人に合う劣化量を求めることが出来ると考えられる。

まとめ

AMNORをテレビ会議で使用する際の劣化量を求める方法について提案した。主観実験の結果、提案法は劣化量を0, 0.3に固定したものに対して有意差がみられた。

今後の課題として、多くの評価者による主観的測定を行い、近似式を作成することが挙げられる。また今回はSN比が分かっていると仮定したのでSN比が推定される場合の検討をする必要がある。

マイクロホンアレイを用いて雑音が存在する環境で聞きたい音声のみを強調する研究を行っていました。

音声強調する際に必要な音源方向を画像から取得して音声強調を行うといった手法です。

主にマイク入力からスピーカ出力までをリアルタイムで行えるように取り組んできました。

2016年度修論発表スライドを以下に添付します。

修論発表スライド

2016年12月26日に行われた３年デモ大会の発表内容です。

OS：Windows７

Androidバージョン：5.0.2

開発環境：Android Studio

開発言語：JAVA

音声認識：Google Speech APIを用いて

音声読み上げ：TTS(text-to-speech)システム

音声認識で視力検査が行えるアプリです。

詳細は以下の動画をご覧ください。

◆背景・目的

• 近年、VR(Virtual Reality)技術が身近なものになってきており、VRでも臨場感のある音楽や音声が求められてきている。そこで、全天球映像やVR映像が付加された際の距離感についての研究を行った。

◆従来研究

• 距離知覚に関する様々な研究から距離知覚を近似するための精神的物理的な式を提案した。(Auditory Distance Perception in Humans, Pavel Zahorik, 2005)

r’=kr^a

        r’ :推定された知覚距離

        r :物理的な音源距離

        k, a :適当なパラメータ

• また、式の分析のため距離知覚実験を行うと平均としてk=1.32, a=0.54という結果が得られた。(r’=1.32r^0.54)

◆アプローチ

• 音と映像を同時に提示するシステムを作成
• パラメータの変更

-従来モデルよりも距離の変化に対して音の変化が大きくなるようにパラメータを変更したモデルを提案モデル(r’=2.64r^0.54)とし、距離知覚実験を行った。以下にシステムの構成図を示す。

◆実験環境

• 本実験では作成したシステムを用いて、スピーカーから被験者自身までの距離を選択肢から回答してもらう。

実験とは音声の長さなどの変更を加えていますが実験の参考動画を作成いたしましたのでヘッドホンなどを用いてご覧ください。

◆実験結果

距離知覚実験の散布図を以下に示す。横軸は提示距離、縦軸は回答した距離とする。

• 誤差の大きい回答が減少

以下に各距離の誤差の平均と被験者ごとの誤差の平均を示す。

• 0.6(m), 0.8(m), 2.2(m), 2.5(m)では有意差が見られるほどでないが誤差が減少
• 被験者によって従来モデルと提案モデルでの結果に違いが見られる。

◆まとめ

• 目的

-全天球映像での距離知覚を再現する音の作成

• アプローチ

-従来モデルのパラメータの変更とシステムの作成

• 結果

-従来モデルと比較して、提案モデルのほうが提示距離との誤差は減少したが有意差が見られるほどではなかった。

• 課題

-被験者の距離知覚の違いによる影響→距離知覚の個人性についての検証を行う必要性

研究背景・目的

• 近年、スマートフォンの普及により全天球動画,VRの視聴が気軽にできる環境が整ってきている.そこで音声に臨場感を付与するにはHRTFを使用する必要がある.
  そこで本研究では,ラグランジュ補間を用いてHRTFの補間を行い補間精度を向上させ、より自然な音像定位を実現する研究です．

• HRTFについて
  音源から出た音が人間の両耳に到達するまでに，耳や顔などの体の各部によって音が反射・回折して音響的に変化した特徴が含まれるインパルス応答である。さらに，左右の耳に音が到着する時間差（ITD），音量差（ILD）も含まれる。
  これらすべての情報が含まれているものがHRTFである.
  

• ラグランジュ補間について
  

• 頭部運動フィルタ
• 概要
  • スマートフォンの方位センサーにより頭部水平回転を取得し，頭部の角度に合わせたフィルタを入力信号に適用し，ヘッドホンから再生します．
  • フィルタを頭部運動に追従させることで頭外定位しやすくなります．
  • 自然な音像定位を再現を目指します．
• MATLABを使ったリアルタイムフィルタ
  スマートフォンから送信された頭部の水平角を読み込み，顔の水平角によってフィルタを切り替えながら入力信号に適用し，計算結果をヘッドホンから出力します．

• 評価実験
• 客観評価と主観評価について下図で示す.

• 結果

• 線形２点補間とラグランジュ補間の補間精度の比較した結果
  音源に近い方向の補間精度は線形２点補間よりもラグランジュ補間のほうが良い結果が得られた.

• 線形２点補間とラグランジュ補間を使用したHRTFの音像移動の主観評価を比較した結果
  頭部運動時での音像移動の評価では、線形２点補間よりもラグランジュ補間のほうが良い結果が得られた.

• 結論
• ラグランジュ補間によるHRTF振幅応答の補間を提案しました．
  また補間を用いた細かい角度間隔のフィルタを作成した.
  実験の結果，音源に近い方向のHRTF振幅応答の補間では提案手法のほうが補間精度が良い結果であることがわかりました．またラグランジュ補間を使用した細かい角度間隔のフィルタの音像移動が良くなることが分かりました。

• 今後の課題
• 頭部運動を計測するために作成したスマートフォン用アプリのセンサーの誤差の問題を解決する必要があると考えます．

研究背景・目的

近年、私達の身の周りにはスマートフォンやハンズフリー、テレビ会議システムなどといった音声を取り扱う機器が広く普及しています。これらを利用する場合に、周囲の雑音や反響音、複数話者の音声がマイクに入ってくると、目的とする音の抽出や認識が難しくなるといった問題が生じます。そこで、用いられる技術として音源分離の研究が盛んに行われており、様々な手法があります。その中でも比較的新しい手法であるマルチチャネルNMFに着目しました。この手法は空間情報を用いることで高精度に音源分離を行うことが出来ます。しかし、初期値にランダムな値を設定する従来のマルチチャネルNMFは自由度の高いモデルであるため局所最適解に陥りやすく、分離性能が初期値に依存してしまうことが課題として挙げられています。

本研究では、従来法でチャネル数を増やした場合におけるマルチチャネルNMFの分離性能の分析を実験的に行い、そこで生じる問題点について提案法によるアプローチで解決を行います。

マルチチャネルNMFおよびシングルチャネルNMFの概要は吉山さん、三浦さんの記事を参考にして下さい。
https://www-ai1.csis.oita-u.ac.jp/?page_id=538
https://www-ai1.csis.oita-u.ac.jp/?page=1946

実験条件

以下の図に示す環境で測定されたインパルス応答を音楽データに畳みこみ、2-6チャネルの評価信号を作成しました。使用マイクロホン番号及び音源位置、分離処理に用いるパラメータは下図参照下さい。ここでは、シード値用意して生成したランダムな初期値パターンを10個用意して、各チャネルで3音源の平均SDRを比較します。SDRとは分離性能を評価するための指標で、数値が高いほど分離性能が良いことを表します。なお、結果のグラフには平均SDRとSDRのばらつきの大きさを表す標準偏差をエラーバーで示します。

チャネル数を増やした場合

以下の図に示すように、従来法でチャネル数を増やして音源分離を行うとチャネル数の増加に伴い分離性能が低下してしまうことが確認されました。原因として、チャネル数が増加すると行列に対する自由度も増加するため、より局所最適解に陥りやすくなると考えられます。そこで、これらの問題を解決するための手法を提案します。

提案手法

これまでの研究でマルチチャネルNMFは空間相関行列Hに対する初期値依存性が大きいことが分かっています。そこで、分離性能が良かった時の分離後の空間相関行列Hは理想に近いパラメータが推定出来ているのではないかと考えました。
mチャネルで分離を行い、mチャネルの空間相関行列Hは、m+1チャネルの空間相関行列Hの部分行列になっていることを利用して、SDRが最も高い時の分離後の空間相関行列Hを次のm+1チャネルの空間相関行列Hの初期値に設定し、音源分離を行います。m = 2, 3, 4, 5 とし、チャネル数増加に伴い逐次的にこの処理を行います。始めに音源分離を行う2チャネルの初期値には従来法と同様にランダムの値を設定しています。

実験結果

以下に示す実験結果から従来法よりも分離性能が向上していることが確認出来ます。また、チャネル数増加に伴い分離性能が向上しているということが見られました。

まとめ

従来のマルチチャネルNMFではチャネル数が増加すると分離性能が低下してしまうという問題点があることを確認しました。この問題を解決するために良いパラメータを推定出来ている行列を逐次的に設定することで局所最適解に陥るのを避け、マイクロホン数の増加に伴う多くの情報量を適切に扱えるために分離性能が向上したと考えられます。
この研究は2017年春に開催される音響学会に提出する予定なので、興味を持った方は是非調べてみて下さい。最後まで読んでいただきありがとうございました。