【これは欲しい】聞きたくない音を遮断し、聞きたい音だけ聞こえるノイキャン技術「Semantic Hearing」。ワシントン大とMicrosoftが開発

2023年10月31日

山下 裕毅

先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」を運営。最新の研究情報をX(@shiropen2)にて更新中。

ワシントン大学とMicrosoftに所属する研究者らが発表した論文「Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables」は、聞きたい音だけを抽出し、不要な音を排除するヘッドホンやイヤホン向けの技術を提案する研究報告である。この技術を用いれば、ユーザーはスマートフォンを通じて特定の音に焦点を絞ってそれのみ聞こえるようにすることができ、多様なシチュエーションで利用可能である。

研究背景

システムの応用例として、静かな海の音を楽しみつつ、周囲の会話を遮断するシチュエーションが考えられる。繁華街を歩行中には、緊急車両のサイレン以外の音を低減させたいと思うこともあるだろう。寝室では目覚まし時計や赤ちゃんの声は聞きたいが、通りの騒音は避けたいというニーズも存在する。飛行機内では、他の乗客の会話やアナウンスは聞こうとする一方、泣いている赤ちゃんの声を遮断したいという要望も考えられる。ハイキングを楽しんでいる最中に、鳥のさえずりを楽しみ、他のハイカーの会話を遮断するといったニーズもある。

▲提案技術の応用例。a) ユーザーは両耳ヘッドセットを装着し、掃除機の騒音だけを遮断しながら会話に集中できる。b) 通りの雑談を遮断し、鳥のさえずりの音に集中する。c) 工事の騒音を遮断しながらも、車のクラクションの音を聞き取ることができる。d) 瞑想中のユーザーは、外部の交通騒音を遮断しながらも、目覚まし時計の音を聞くことができる。

研究内容

これらのニーズに応えるためには、すべての音をキャンセルするノイズキャンセリング技術と、特定の音を再度取り入れるメカニズムが必要となる。特に後者が本研究の主要な焦点となっている。「Semantic Hearing」と名付けられたこの技術は、リアルタイムで音のシーンを設定し、各音とユーザーの要望を意味的に関連付けることで、どの音をデバイスが取り入れ、どの音を遮断するかを決定する。

具体的には、両耳の入力音声はノイズキャンセリングヘッドセットで捕捉され、スマートフォンに送信される。そこで、音声抽出ネットワークが動作し、目的とする音声(例:サイレンや猫の鳴き声)を取り出し、ノイズや干渉音声(例:掃除機や交通騒音)を抑制する。この両耳の出力音声はリアルタイムで再生される。

▲Semantic Hearingの概要

技術的な貢献としては、次の2点が挙げられる。(1)両耳で目的とする音を抽出するニューラルネットワークを開発。このネットワークは2つの耳からの音声信号を入力として取り込み、音響シーン内の目的音の方向性を保ちながら、両耳の音声信号を出力する。(2)スマートフォンでリアルタイムに操作するためのネットワーク最適化。この共同処理により、目的とする音の空間情報を維持しつつ、両耳の音声を出力する。トレーニングデータは、複数のデータセットを組み合わせて作成した。

▲スマートフォン上での目的音声選択のためのユーザーインターフェースデザイン

実証実験

実験では、市販のノイズキャンセリングヘッドセットを改良し、さまざまな方法で提案機能を検証した。実験の結果、干渉音や背景騒音の存在下で20の目的音に対し、平均7.17 dBの信号改善が確認された。iPhone 11を使用した実験においては、10 msとされる両耳音声処理のランタイムが実際には6.56 msと、非常に高速であることが確認された。実環境のテストでは、システムが目的音を効果的に取り出し、新しい環境や参加者にも適応できることが確認された。さらに行った空間的な聴覚試験により、参加者が目的音の方向を正確に認識できることが明らかとなった。

▲実際の環境評価の様子。参加者は都市の騒音の中で鳥のさえずりだけを聞いている。

Source and Image Credits: Bandhav Veluri, Malek Itani, Justin Chan, Takuya Yoshioka, and Shyamnath Gollakota. 2023. Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables. In Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology (UIST ’23). Association for Computing Machinery, New York, NY, USA, Article 89, 1–15. https://doi.org/10.1145/3586183.3606779

関連記事

人気記事

公式SNSで
最新おすすめ記事を配信中!

キャリアと技術の可能性が見つかるメディア レバテックメディアLAB

  • コピーしました

RSS
RSS