「タッチパネル操作時の“遅れ”をなくす」スマホに貼る透明シート　米カーネギーメロン大が開発【研究紹介】

米Carnegie Mellon Universityの研究チームが開発した「TriboTouch: Micro-Patterned Surfaces for Low Latency Touchscreens」は、タッチパネルを指で操作する際の遅延を軽減する透明シートだ。スマートフォンに貼るだけで、その上から指やスタイラスなどで擦ると、これまで遅かった反応速度が格段に上がり、指にピッタリくっ付いているように追従する。

• keyboard_arrow_down 研究背景
• keyboard_arrow_down 開発過程
• keyboard_arrow_down 実証実験

タッチスクリーン技術は、過去半世紀にわたって目覚しい発展を遂げてきた。空間精度、最大画面サイズ、耐傷性、防水性、光学的透明度、タッチポイントの追跡数などの指標は着実に向上し、コストは下がり続けている。

だが、指先の動きとグラフィックスの描画速度との間に生じる遅延はなかなか改善されない。例えば、スマートフォンのアプリを編集モードにして移動させてみると、指の移動にやや遅れて後ろからアプリが付いてくるのが分かる。

そこで今回は、タッチパネルの待ち時間を短縮するための新しいデバイス「TriboTouch」を提案する。このデバイスは透明なシートで、スマートフォンの2Dタッチセンサーとディスプレイの上に貼り付けて使用する。

本手法は、貼った透明シートを上から指で擦った際の摩擦による振動を利用する。正確には、2つの表面が摩擦すると発生する振動音を捉える。この音は、透明シートを擦る指の速度が速ければ大きくなり、擦る速度が遅ければ小さくなる。ファスナーを想像してみると分かりやすい。ファスナーを遅く開閉する際は音が小さく、速く開閉する際は大きく鳴る。

透明シートは、全体的に5μmピッチの小さな凹凸の2次元パターンを持つ。このパターン面上で指を動かすと、微細な凹凸との相互作用により、基本周波数の音響振動が発生する。この音をスマートフォンの内蔵マイクで捉え、音の強弱から動かした指の方向と速度を計算する。

この音響振動は低振幅で多くの速度では超音波であるため、ユーザーには知覚できない。この信号を従来のオーディオ・パイプラインで192kHzでサンプリングすると平均待ち時間は28msとなり、一般的なタッチ・パイプラインの半分以下の時間しかかからなかった。

これだけでは方向とその速度しか分からないため、音響振動信号データ（1次元）と、従来の投影型静電容量タッチスクリーンから得られる低フレームレートながら高い空間精度のタッチデータ（2次元）を融合させることで、低遅延の高精度タッチパネルを実現する。

これら融合データを機械学習モデルに入力することで、従来の投影型静電容量方式だけを使用するよりも正確なタッチ位置の予測を可能にする。実験では、平均距離誤差5.13mm、遅延時間を96msから16msに短縮できた。 文末の動画でも確認できるように、遅延による違和感が軽減されているのがわかる。

この技術は、抵抗膜方式、自己静電容量方式、光学式、音響式、その他多くのタッチスクリーン技術にも適用可能だが、ここではタッチスクリーン市場で主流な投影型静電容量方式に焦点を当てている。

Source and Image Credits: Craig Shultz, Daehwa Kim, Karan Ahuja, and Chris Harrison. 2022. TriboTouch: Micro-Patterned Surfaces for Low Latency Touchscreens. In CHI Conference on Human Factors in Computing Systems (CHI ’22). Association for Computing Machinery, New York, NY, USA, Article 347, 1–13. https://doi.org/10.1145/3491102.3502069