脳に埋め込んだ電極で「発話内容」を読み取りテキストと音声に変換する技術　1分62英単語の高速出力に成功【研究報告】

米スタンフォード大学、米Providence VA Medical Center、米ブラウン大学などに所属する研究者らが発表した論文「A high-performance speech neuroprosthesis」は、理解できない言葉を発しても、脳に電極を埋め込んで話そうとする際に口を動かそうとする脳の信号を捉え、テキストや音声に変換できるブレインマシンインタフェース（BMI）を提案した研究報告である。

• keyboard_arrow_down 研究背景
• keyboard_arrow_down 研究内容
• keyboard_arrow_down 実証実験

論文の第一著者であるFrancis Willett氏率いる研究チームは、2021年5月にも脳に電極を埋め込み「手書きのテキスト」を思い浮かべるだけで文字入力できる研究を発表している。内容は、四肢麻痺の男性に電極を埋め込み、アルファベットをなぞるように思い浮かべた際の信号を脳から受け取ることで、機械学習アルゴリズムがテキストに変換して画面に表示するという研究である。

手書き文字を考えるだけで1分間に約18英単語（1分間に90文字のタイピング速度）の出力に成功し、良好な結果が得られた。健常者がスマートフォンで入力する速度は、1分当たり約23英単語と言われているため、結構な速度である。

このような電極を埋め込むことは侵襲リスクがあるものの、考えるだけで意思表示を具体的に表現できる手法は、脊髄損傷、脳卒中、ALS（筋萎縮性側索硬化症）などによって身体の機能や発話能力を失った人たちのコミュニケーション能力を取り戻す手助けになるため有益な技術といえる。

今回も四肢麻痺やきちんと発話できない人たちのために、発話しようとする際の口を動かす脳の命令を解読し、テキストや音声に変換するブレインマシンインタフェースを提案する。手法は、参加者の脳に微小電極アレイを2箇所埋め込み、発話中の皮質表面から活動を記録し、深層学習モデルで記録したデータをテキストや音声に変換する。

今回微小電極アレイを腹側運動前野とブローカ野の2箇所のみに埋め込んだが、顔面運動は92.7%の精度、音素は60%の精度で解読でき、皮質表面の狭い範囲にもかかわらず、試行された口唇運動の表現は、ブレインマシンインタフェースをサポートするのに十分可能であることが示唆された。

リカレントニューラルネットワーク（RNN）を訓練し、文全体をリアルタイムでデコードするシステムを構築する。言語モデルで処理し、音素の確率と英語の統計量の両方から、最も可能性の高い単語の並びを推定する。モデルの学習は、独自に作成した10,850文の訓練データセットを用いる。

今回実験に協力してくれた参加者は、バルバー型ALSを抱えており、麻痺してきちんとした言葉を発することができない方である。実験では、参加者にモニター画面に表示されるサンプル文を読んでもらう。うまくいけば発話中の脳活動から取得したデータが変換されモニター画面に文章が出力される。

実験の結果、発話中は発話しようと口周辺の筋肉が動き、時折理解できない声を発している状態だが、モニター画面にはサンプル文とほとんど同じ文章がタイピングされ、見事成功した。

精度結果は、50英単語の語彙で9.1%の単語エラー率で、125,000英単語の語彙で23.8%の単語エラー率を達成した。

冒頭の前研究である「手書きテキスト」の場合は毎分約18英単語の出力結果だったのに対し、今回は毎分62英単語と3倍の速度で出力しており、格段に速くなった。またアイトラッキングだけで行うブレインマシンインタフェースの毎分約19英単語も軽く凌駕している。次の目標は、自然な会話で話した際に出力される1分間で160英単語を低エラー率で出力することを目指す。

Source and Image Credits: Francis R Willett, Erin Kunz, Chaofei Fan, Donald Avansino, Guy Wilson, Eun Young Choi, Foram Kamdar, View ORCID ProfileLeigh R. H Hochberg, Shaul Druckmann, Krishna Shenoy, Jaimie Henderson. A high-performance speech neuroprosthesis.