２０１６年１２月２６日に行われた３年生デモ大会の発表内容です。
このデモでは、GUIで操作し、音データにリバーブ（残響）を付与させるシステムを開発しました。
音源は２種類用意しており、その音源と、リバーブを付与したものを聞くことができます。リバーブは減衰率とリピート回数を設定することが可能で、それぞれ１０段階の値を設定できます。
以下、一方の音源の元音源と、減衰率０．５、リピート回数５でリバーブを付与した音源です。
元の音源
減衰率０．５、リピート回数５でリバーブをかけた音源
使用した環境
詳細は以下の動画でご覧下さい。
2016年12月26日に行われた3年生によるデモ大会で発表した内容です。
OS：Windows７
開発環境：MATLAB
24個のスピーカーを、部屋の周りに１つずつ配置して順番に、ダウンロードした音源を流しました。
詳細は以下の動画をご覧下さい。
2016年12月26日に行われたデモ大会で発表した内容です。
音源分離を用いることによりヘッドホンで音楽を聴く際に臨場感を実現できるのではないかということで
ボーカル、ピアノ、ドラムの3つで構成されている楽曲をそれぞれの要素に分離し
分離した3つの要素(ボーカル、ピアノ、ドラム)にそれぞれ正面、右、左のHRTFを畳み込んで再びミックスし
楽曲に臨場感を加えるといった発表をしました。
実際に作成したものです。
詳細は以下の動画をご覧ください。
背景・目的
楽器の練習には実技練習も大切だが、理想の音のイメージを持つ事も重要であり、プロの演奏を録音したCD 音源を聴く方法が気軽に出来る為多く行われているが、奏者がどんな音を聴いて吹いているかは分からない。
そこで、経験楽器であるフルートに着目して”フルート演奏の技術向上のためのプロの音源を演奏者が聴いている音に変換する演奏支援システムの開発”を目指して、本研究ではフルート奏者と聴取者の聞いている音の違いを客観評価を含めて明らかにすることを目的とする。
アプローチ方法
分析
周波数特性の比較を行った結果、全体的に演奏者側で聴く音の方が音圧が高く高周波数帯では差が大きかった。
また、波形を比較した結果
聴覚的違いの主観評価
フルート経験者５名にaとbどちらが吹いている感覚に近いか回答してもらった。
その結果、聴取者側の音源では息をはきながら聴いた方が演奏時の感覚に近いという結果が得られた。
まとめ
フルートにおける演奏技術向上の支援のシステム開発の第一歩として、奏者と聴取者の聴こえの違いを客観評価を含む分析を行った。
分析の結果、その時々の演奏者コンディションの影響もあるとは考えられるが、奏者と聴取者それぞれの聴く音には周波数特性や波形に違いがある事が分かった。主観評価では、音源によって差はあるが息をはきながら音源を聴くと通常時よりも演奏している感覚に近いという結果が得られた。
研究背景
従来の絵本アプリケーションについて
オリジナル絵本の読み聞かせを行うにあたり、
自由な発話が行える音声合成システムに着目
研究目的
作成したアプリの読み聞かせ音声は単調で
実際の人間が絵本の読み聞かせをした際の音声と異なるように感じた
より絵本の読み聞かせ時の音声に近い
「絵本読み聞かせ風人工音声」を作成する必要がある
絵本を読み聞かせる際の声に着目し、
絵本読み聞かせ音声の特性を分析
関連研究
「乳児の絵本読み聞かせ場面における情緒応答的かかわりに関する研究–母親と女子大学生の比較–」
（高島由佳子、200９）
母親10名と育児未経験者である女子大学生15名の
乳児（生後5か月）10名に対する対応の違いを比較している
→対乳児音声の特徴など
＜結果＞
母親、学生ともに、乳児音声の基本周波数、持続時間が共に
上昇、増加し、読み聞かせ時にマザリーズが出現する
マザリーズ（対乳児音声）
解決したい課題
絵本読み聞かせ風人工音声の作成に向けて
絵本を読み聞かせる際の声に着目
対乳児音声の特徴項目を参考に
絵本読み聞かせ時の音声の特徴を
主観的なものだけではなく、数値的に分析
アプローチ方法
分析
普段小中学生を対象に活動している絵本読み聞かせサークル
「結い」に所属している20代の女子学生3名を話者として、
絵本読み聞かせとニュース原稿の朗読を行ってもらい、
録音音声をpraatにて分析
録音システム：スマートフォン用録音アプリ「Hi-Q MP3 Rec」
（サンプリングレート：44kHz、ビットレート：128kbps）
録音環境：大学内の空き教室
分析に使用した絵本
【日本人原作絵本】
【外国人原作絵本】
分析に使用したニュース原稿
音声言語としては最も規範性が高いと評価されるNHK
アナウンサーのニュース朗読の一例としてとりあげられている
自然なイントネーションによるニュース朗読原稿を使用
分析結果
上記の結果をまとめた表↓
考察
＜今回得られた絵本読み聞かせ音声の特徴＞
従来の対乳児音声の特徴をほぼ得ていたが、発声速度に関しては対乳児音声の特徴と異なる結果が得られた
→これは、聴取者である子どもが聞き取りやすいよう、話者が一文字一文字、丁寧にハキハキと絵本を読んでいるからと考えられる
＜読み方の特徴＞
まとめ
→絵本読み聞かせ風人工音声の作成を提案
→従来の対乳児音声の特徴をほぼ得ていたが、発声速度に関しては対乳児音声の特徴と異なる結果が得られた
＜今後の進め方＞
絵本の物語の展開や会話文と地の文、登場人物の感情ごとに
分析し、より細かく特徴を調べ、変化があるのかを検討していく必要がある
近年、テレビ会議など離れた場所で同時に会議をするツールが普及してきている。会議室の音声を収音する際、音声のほかに空調の音が混入してしまったりデータの送信時に電気ノイズが付加される場合がある。そういった雑音を抑圧し、より聞き取りやすい音声にすることで会議自体もスムーズに行われる。
雑音抑圧の処理の中でも雑音抑圧マイクロホンアレイ(AMNOR)は小規模のマイクロホンアレイでより雑音の抑圧処理の効果を高めるために人の耳では気にならない程度の目的音声の劣化を許容して雑音抑圧の効果を高めている。
本研究では適応形雑音抑圧マイクロホンアレイ(AMNOR)をテレビ会議で用いる際の課題を挙げ、解決のための提案をする。
基本事項としてマイクロホンアレイとビームフォーマという信号処理について説明する。マイクロホンアレイとは複数のマイクロホンをアレイ状にしたものである。本研究では特に直線状アレイのことを指すこととする。マイクロホンアレイを用いて収音することで音の空間的特徴をとらえることが出来る。
ビームフォーマは信号処理の一つでマイクロホンアレイでの収音で得られた音の空間的特徴を用いて位相や振幅を制御する信号処理を実現する。ビームフォーマなど信号処理は雑音抑圧フィルタを作成し、収音した信号に畳みこむといった処理となる。
適応形雑音抑圧マイクロホンアレイ(以降AMNORとする)は雑音抑圧処理の一つで、目的音信号の劣化を許容する代わりにより雑音を抑圧するという特徴がある。AMNORはマイクロホンアレイ、可変デジタルフィルタ、フィルタ制御部の三つで構成されている。フィルタ制御部で係数を増減させることでフィルタの特性を変化させ、許容劣化量を満たすフィルタを設計する。
フィルタ内係数と劣化量の関係、また劣化量と出力信号に残る雑音量の関係について説明する。以下に示す図の青線は係数を10の-10乗から10の10乗まで変化させた時の劣化量の変化を表している。グラフから劣化量は係数に対して単調減少することが分かっている。また赤線はその時の出力信号に残る雑音量を示しており、劣化量と雑音量がトレード・オフの関係にあることが分かっている。
AMNORのフィルタを作成するとき初めに許容できる劣化量を指定する必要がある。目的音声と雑音量のトレード・オフの関係から何度か劣化量を変えてフィルタを作成し、より良い信号を選択する。
テレビ会議でこの手法を用いる場合、こういった試行錯誤が出来ないため、多くの人に許容させる劣化量を自動で指定する必要があると考えられる。
提案として、既得情報から劣化量を求める方法として入力信号のSN比を基準に劣化量を選択することを提案する。具体的にはSN比ごとの劣化量を主観的に測定し、測定結果の散布図から近似式を作成する。そして実際にフィルタ処理をする際はその近似式を用いて入力信号のSN比から劣化量を求めることが出来るようにする。
主観実験をおこなった。入力信号のSN比が-20dBから20dBまでの５つの信号を用意し、それぞれ固定劣化量0, 0.1, 0.3と提案法による劣化量で処理した信号を聞いてもらい比較する。
実験方法はシェッフェーの一対比較法(浦の変法)を用いた。実験条件を以下に示す。
以下に実験結果を示す。縦軸が平均評価値で負に大きい方が良いという評価を得て、正に大きい方が評価を得られなかった、つまり相対的に悪い評価となったことを示す。
横軸にデシベル別信号ごとの結果を表示している。提案法と劣化量を0.1に固定した音声に良い評価が集まっていることが分かる。提案法は劣化量を0と0.3に固定した信号に対して有意差がみられた。また有意差は見られなかったが入力信号のSN比が-10dBと20dBの信号を除いて0.1に固定した信号の法が良いという結果となった。
雑音が多少残ってしまっても劣化量の少ない信号が良いという結果になった。近似式を作成する際に主観的測定のデータを増やすことでより多くの人に合う劣化量を求めることが出来ると考えられる。
AMNORをテレビ会議で使用する際の劣化量を求める方法について提案した。主観実験の結果、提案法は劣化量を0, 0.3に固定したものに対して有意差がみられた。
今後の課題として、多くの評価者による主観的測定を行い、近似式を作成することが挙げられる。また今回はSN比が分かっていると仮定したのでSN比が推定される場合の検討をする必要がある。
マイクロホンアレイを用いて雑音が存在する環境で聞きたい音声のみを強調する研究を行っていました。
音声強調する際に必要な音源方向を画像から取得して音声強調を行うといった手法です。
主にマイク入力からスピーカ出力までをリアルタイムで行えるように取り組んできました。
2016年度修論発表スライドを以下に添付します。
修論発表スライド
2016年12月26日に行われた３年デモ大会の発表内容です。
OS：Windows７
Androidバージョン：5.0.2
開発環境：Android Studio
開発言語：JAVA
音声認識：Google Speech APIを用いて
音声読み上げ：TTS(text-to-speech)システム
音声認識で視力検査が行えるアプリです。
詳細は以下の動画をご覧ください。
r’=kr^a
r’ :推定された知覚距離
r :物理的な音源距離
k, a :適当なパラメータ
-従来モデルよりも距離の変化に対して音の変化が大きくなるようにパラメータを変更したモデルを提案モデル(r’=2.64r^0.54)とし、距離知覚実験を行った。以下にシステムの構成図を示す。
実験とは音声の長さなどの変更を加えていますが実験の参考動画を作成いたしましたのでヘッドホンなどを用いてご覧ください。
距離知覚実験の散布図を以下に示す。横軸は提示距離、縦軸は回答した距離とする。
以下に各距離の誤差の平均と被験者ごとの誤差の平均を示す。
-全天球映像での距離知覚を再現する音の作成
-従来モデルのパラメータの変更とシステムの作成
-従来モデルと比較して、提案モデルのほうが提示距離との誤差は減少したが有意差が見られるほどではなかった。
-被験者の距離知覚の違いによる影響→距離知覚の個人性についての検証を行う必要性
研究背景・目的
