音メディア処理研究室

 
10月

デジタル絵本用読み聞かせ音声

2016年7月28日に行われたデモ大会での発表内容です。


背景・目的

  • 小学校入学前の子どもと楽しむために絵本読み聞かせアプリケーションが複数存在する
    →ただし、ほとんどがすでに録音された音声を物語と共に再生するものである
    また、それ以外は自分の声を録音して再生するものである
  • 人工音声(または、感情音声)に関しての技術はロボットの音声、ガイド分の読み上げ等で主に使われている
  • 絵本読み聞かせに特化した音声合成ソフトは見かけない

人工音声で絵本読み聞かせのできるコンテンツを実現し、
読み聞かせの幅を広げたい

デモ内容

  • 規則音声合成ライブラリ「AquesTalk」を使用し、
    テキスト読み上げソフト「SofTalk」で録音した3種類の人工音声を比較する
    1.無修正人工音声
    2.修正人工音声①(速度:遅)
    3.修正人工音声②(速度:遅+間)
  • 文章:昔話「ももたろう」の始めの文より抜粋
    「むかしむかし、あるところにおじいさんとおばあさんがいました。
    おじいさんは山へ柴刈りに、おばあさんは川へ洗濯に行きました。」

%e7%84%a1%e4%bf%ae%e6%ad%a3%e4%ba%ba%e5%b7%a5%e9%9f%b3%e5%a3%b0

%e4%bf%ae%e6%ad%a3%e4%ba%ba%e5%b7%a5%e9%9f%b3%e5%a3%b0

%e4%bf%ae%e6%ad%a3%e4%ba%ba%e5%b7%a5%e9%9f%b3%e5%a3%b0%e2%91%a1

 

結果・考察

主観評価の結果、通常の速度より話速は遅く、句読点(、。)や文章の切れ目、「て・に・を・は」で間を入れると読み聞かせらしい音声に近づくことがわかった。

スマホを用いた仮想相対位置における音像定位システム

2016年7月28日に開催されたデモ大会の発表内容です

仮想的な音源と聴取者間の位置による音の変化を再現するシステムを作成しました。

システムの機能

  • システムを起動後 進みたい方向を向いてスマホを振るとその方向に進む
  • 画面上の音源(青色ブロック)と聴取者(赤色ブロック)の相対的な位置により音の聞こえる方向や音の大きさが変化

*画面上側を正面とします

システム構成図

fdsfasdd

デモ動画

動作は以下の動画をご覧ください。

また、3分10秒付近からは実際どのように音が変わるのかの動画を付け足していますので、

是非 ヘッドホンやイヤホンで聴いてみてください。

3分10秒以降の動画では 音源: 宝箱  キャラクター: 聴取者 となっています。

https://youtu.be/r1qwRMTBkHc

開発環境、ツールなど

 

  • Windows 7
  • Visual Stadio 2015
  • Android Studio  v 2.1.2
  • Java , C#
  • Unity v 5.3.5 (32-bit)
  • Android6.0