技術
聴覚ディスプレイ技術
~音の聞こえる方向や距離を人が認知する仕組みを利用し、人工的な仮想音像を提示する技術~
ある点から到来する音は、音源から両耳までの伝達特性(頭部伝達関数)が組み込まれて両耳に到達します。人はこの伝達特性を経験的に利用し、音の空間的方向・距離を認識しています。
※頭部伝達関数(Head-Related Transfer Function)=HRTF
聴覚ディスプレイ技術は、頭部伝達関数をディジタル信号処理で音そのものに組み込み、これをヘッドフォンで両耳に与えることで、仮想的な音像を3次元空間の任意な点に提示する技術です。
頭部運動感応型
~聴取者の姿勢にかかわらず、3次元空間の任意な点から音が聞こえる~
これまでは、頭部伝達関数を組み込みヘッドフォンで両耳に与えたとしても聴取者の向いている方向により、空間自体が連動して動いてしまい、音像の位置も変化してしまいました。
本技術は、ヘッドフォンに取り付けた3次元センサーからの情報により頭部の向きを検出し、頭部の姿勢に応じた頭部伝達関数を組み込むことにより絶対空間上での音像の提示を可能としました。
高精度
個人ごとに測定した頭部伝達関数など、最適な頭部伝達関数を音に組み込むことができます。その結果、聴取者が前後の音を正しく認識できるようになりました。
また、測定が面倒な方には一般的な頭部伝達関数*を利用していただいたり、百人以上を測定したデータベースの中から聞きやすい特性のものを選んで利用いただいたりすることも可能です。
※一般的なものの場合、個人の頭部伝達関数と比較して若干精度が落ちてしまいます。
課題
処理コスト
音に対して、頭部伝達関数をディジタル信号処理で組み込む必要がある為、そのまま音を出力する場合と比較して、処理コストを要してしまいます。
但し、PCの高性能化に伴い、現在(2008年1月時点)のPCのスペックであれば、十分な数の音像を提示することが可能となりました。
PCとの接続
デジタル信号処理で頭部伝達関数を組み込んだ音像を、聴取者の両耳に正確に伝えるためには、ヘッドフォンが必要となり、また、頭部の姿勢を取得する3次元センサーとPCとの接続にUSBを用いているため、どうしてもPCと有線で接続される必要があります。
但し、ワイヤレスヘッドフォン、ワイヤレスUSBの登場により、これらの課題は解決しつつあります。
応用
視覚障害者のための訓練機器
視覚障害者は、音を頼りに周りの空間を認識しており、その能力は日々の生活の上で培われていくものですが、実際の世界では、自動車との衝突など、危険が伴います。 仮想空間に音像を提示し、その空間内で訓練を行うことにより安全に、音を使った空間認識能を培うことが可能です。
臨場感の向上(ゲームなど)
「プレーヤーの後ろから、なにかがやってくる」などを表現することでゲームなどにおいてより臨場感を向上させることができます。 今後のゲームの進化によりHMDとの組み合わせで、より没入感のあるゲームを開発することが可能になります。
応用実例
視覚障害者向け、空間認識能向上ソフトウェア
『MentalMapper』
視覚障害者向け、音像位置特定ゲーム
『BBBeat』
視覚障害者向け、音空間レースゲーム
『SoundFormula』
協力
本技術開発は、平成15年度から16年度にかけて「地域新生コンソーシアム研究開発事業」として、次の機関のご協力のもとに、研究・開発を行いました。・東北大学
・通研電気工業株式会社
・大井電気株式会社
・NECトーキン株式会社
・東北福祉大学
お問い合わせ
「 聴覚ディスプレイ技術 」 に関するお問い合わせ先
株式会社ピー・ソフトハウス
〒983-0045
仙台市宮城野区宮城野1-12-1
いちご仙台イーストビル 5F
※聴覚ディスプレイ技術を応用したアプリケーション開発を承ります。お気軽にお問い合わせください。