物理キーボード不要　机の上で「指だけタイピング」を実現する手首型デバイス「TapType」【研究紹介】

スイスのETH Zurichの研究チームが開発した「TapType: Ten-finger text entry on everyday surfaces via Bayesian inference」は、フルサイズの物理キーボードで文字を入力するのと同じように、机上などの硬い表面で物理キーボードなしにタイピングが行える手首型ウェアラブルデバイスだ。外出先の机上にスマートフォンを置き、その周囲の机上で従来のQWERTYキーボードレイアウトでタイピングが行える。

• keyboard_arrow_down 課題
• keyboard_arrow_down 開発過程
• keyboard_arrow_down 評価と運用

一般的なフルサイズの物理キーボードは高速かつ正確にタイピングできるため重宝されているが、スマートフォンやタブレットの普及により物理キーボードの存在が邪魔になるケースも増えた。外出先で使える折りたたみ式キーボードなどが商品化されたが、フルサイズの物理キーボードに比べ使いづらく、ディスプレイに表示されるキーボードをタップやフリックで入力しているのが現状だ。

今回は、物理キーボードなしにフルサイズのタイピングをサポートするシステム「TapType」を提案する。システムは、リストバンドのハードウェアプロトタイプ2つ、ベイズ分類器の設計・実装・学習、n-gram言語モデルによる確率的デコーダーの3つで構成する。

フィットネストラッカーみたいなリストバンドは、従来の慣性センサーの設計を発展させ、超低消費電力の3軸加速度センサーを2つ搭載し、より高い分解能と高いサンプリングレートで精度を向上させている。

リストバンドを装着したユーザーは、タッチスクリーンのキーボードと同じように、両腕を机などの表面に置き10本の指を使い通常通りにテキスト入力するだけでタイピングが行える。 タイピングされるとセンサーバンドに搭載の慣性計測ユニット（IMU）が机へのタップ時の微振動を検出する。その信号はバックエンドデバイスに無線伝送される。

バックエンドデバイスでは、文字を推定するための処理パイプラインが設計されている。処理パイプラインは、IMU信号の変化を識別するタップ検出アルゴリズム、5つの指と手のひらの確率を推定するベイジアンディープニューラルネットワーク分類器、n-gram言語モデルからの事前分布を持つ分類器の出力配列を最も可能性の高い文字配列に変換するデコーダーの3つの部分で構成される。このパイプラインにより机を叩いた微振動から文字を分類する。

10人の参加者を対象にしたテキスト入力でのオンライン評価テストを実施した。結果、入力速度は物理的なキーボードには及ばなかったが、参加者の平均入力速度は19WPMであった。また文字エラー率（CER）は0.6%であった。タッチタイピングの熟練者は、25WPM以上の入力速度を安定して達成し、エラー率も低かった。TapTypeの単語提案では、提案された単語を選択した場合、94％の割合で正しい単語が選択されたことが確認された。

TapTypeの応用例として、（1）スマートフォンやタブレットなどのモバイル端末を机上に置き、端末の周囲でタイピングを行う、（2）音声フィードバックと併用した利用、（3）VR空間でのタイピングに利用、という3つのシナリオが紹介される。

Source and Image Credits: Paul Streli, Jiaxi Jiang, Andreas Rene Fender, Manuel Meier, Hugo Romat, and Christian Holz. 2022. TapType: Ten-finger text entry on everyday surfaces via Bayesian inference. In CHI Conference on Human Factors in Computing Systems (CHI ’22). Association for Computing Machinery, New York, NY, USA, Article 497, 1–16. https://doi.org/10.1145/3491102.3501878