「タッチパネル操作時の“遅れ”をなくす」スマホに貼る透明シート 米カーネギーメロン大が開発【研究紹介】

2022年5月11日

山下 裕毅

先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」(https://shiropen.com/)を運営。

米Carnegie Mellon Universityの研究チームが開発した「TriboTouch: Micro-Patterned Surfaces for Low Latency Touchscreens」は、タッチパネルを指で操作する際の遅延を軽減する透明シートだ。スマートフォンに貼るだけで、その上から指やスタイラスなどで擦ると、これまで遅かった反応速度が格段に上がり、指にピッタリくっ付いているように追従する。

▲(左)従来のタッチパネル。フォルダアイコンを指で動かしている様子。指に遅れているフォルダアイコンが確認できる(右)今回提案の手法。フォルダアイコンを指で動かしている様子。遅延が短いため、動かしてもフォルダアイコンが指に隠れて見えない

研究背景

タッチスクリーン技術は、過去半世紀にわたって目覚しい発展を遂げてきた。空間精度、最大画面サイズ、耐傷性、防水性、光学的透明度、タッチポイントの追跡数などの指標は着実に向上し、コストは下がり続けている。

だが、指先の動きとグラフィックスの描画速度との間に生じる遅延はなかなか改善されない。例えば、スマートフォンのアプリを編集モードにして移動させてみると、指の移動にやや遅れて後ろからアプリが付いてくるのが分かる。

開発過程

そこで今回は、タッチパネルの待ち時間を短縮するための新しいデバイス「TriboTouch」を提案する。このデバイスは透明なシートで、スマートフォンの2Dタッチセンサーとディスプレイの上に貼り付けて使用する。

▲(上)今回の提案する透明シート(下)透明シートをスマートフォンのディスプレイ上に貼るだけで使用できる

本手法は、貼った透明シートを上から指で擦った際の摩擦による振動を利用する。正確には、2つの表面が摩擦すると発生する振動音を捉える。この音は、透明シートを擦る指の速度が速ければ大きくなり、擦る速度が遅ければ小さくなる。ファスナーを想像してみると分かりやすい。ファスナーを遅く開閉する際は音が小さく、速く開閉する際は大きく鳴る。

透明シートは、全体的に5μmピッチの小さな凹凸の2次元パターンを持つ。このパターン面上で指を動かすと、微細な凹凸との相互作用により、基本周波数の音響振動が発生する。この音をスマートフォンの内蔵マイクで捉え、音の強弱から動かした指の方向と速度を計算する。

▲TriboTouchを活用したシステムの概要図

この音響振動は低振幅で多くの速度では超音波であるため、ユーザーには知覚できない。この信号を従来のオーディオ・パイプラインで192kHzでサンプリングすると平均待ち時間は28msとなり、一般的なタッチ・パイプラインの半分以下の時間しかかからなかった。

これだけでは方向とその速度しか分からないため、音響振動信号データ(1次元)と、従来の投影型静電容量タッチスクリーンから得られる低フレームレートながら高い空間精度のタッチデータ(2次元)を融合させることで、低遅延の高精度タッチパネルを実現する。

▲(左)従来のタッチパネル。操作によって遅れて付いてくるアイコンに対し、(右)遅延が短縮されたTriboTouchではアイコンの遅れがなく付いてくる

実証実験

これら融合データを機械学習モデルに入力することで、従来の投影型静電容量方式だけを使用するよりも正確なタッチ位置の予測を可能にする。実験では、平均距離誤差5.13mm、遅延時間を96msから16msに短縮できた。 文末の動画でも確認できるように、遅延による違和感が軽減されているのがわかる。

▲(左)従来のタッチパネル。スケッチすると遅れて描かれ、指と線とに空白が一時できるが、(右)TriboTouchは今描いている線と指がほぼ同時に進む

この技術は、抵抗膜方式、自己静電容量方式、光学式、音響式、その他多くのタッチスクリーン技術にも適用可能だが、ここではタッチスクリーン市場で主流な投影型静電容量方式に焦点を当てている。

Source and Image Credits: Craig Shultz, Daehwa Kim, Karan Ahuja, and Chris Harrison. 2022. TriboTouch: Micro-Patterned Surfaces for Low Latency Touchscreens. In CHI Conference on Human Factors in Computing Systems (CHI ’22). Association for Computing Machinery, New York, NY, USA, Article 347, 1–13. https://doi.org/10.1145/3491102.3502069

バックナンバー【2022年4月】
・フリーハンドで電子回路を描ける手持ちプリンター「Print-A-Sketch」手書き絵のスキャン・コピーも可能 ドイツチームが開発【研究紹介】
・市販メガネに取り付けて食べた量を計測できるデバイス「MyDJ」 低消費電力で長時間モニタリングが可能【研究紹介】
・手術なしで顔に電子機器を埋め込むメイク技術 ユーザー操作で頬を赤らめ涙を流すことが可能【研究紹介】

公式SNSで
最新おすすめ記事を配信中!

キャリアと技術の可能性が見つかるメディア レバテックメディアLAB

  • コピーしました
RSS
RSS