TOPコラム海外最新IT事情VR空間に籠もって仕事ができる個室　部屋内で起きる実世界の出来事をリアルタイム再現・後から3D再生可能に【研究紹介】

VR空間に籠もって仕事ができる個室　部屋内で起きる実世界の出来事をリアルタイム再現・後から3D再生可能に【研究紹介】

2022年5月20日

先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」を運営。最新の研究情報をX（@shiropen2）にて更新中。

スイスのETH Zürichの研究チームが開発した「Causality-preserving Asynchronous Reality」は、VR（バーチャルリアリティ）空間”だけ”で仕事を完結させるための物理的な個室だ。部屋には多数の深度カメラが完備され、ユーザーがVR空間にいる間で起きる部屋内の事象を全て3D録画する。

例えば、部屋に人が入ってきて何か言いながら机の上に書類を置く、部屋内のホワイトボードに何か書くなどすると、その動きがすべて記録される。VRでの仕事に集中するユーザーは後からそれら出来事を再生し体験できる。来た人の3Dモデルの動きと共に発した音声を聴きながら体験できるため、過去にタイムスリップしたように感じる。

▲VR体験中に部屋に入って来た人が机上に3Dプリントした造形物を何か言って置いていき、後からその様子を再生し確認している一連の様子

keyboard_arrow_down 課題
keyboard_arrow_down 実証実験
keyboard_arrow_down 「非同期現実」システム

課題

VR内で仕事をすると、実質的に無限の量のバーチャルディスプレイと3Dオブジェクトで自分自身を囲むことができる。キーボード入力含め文字入力の方法もさまざまで、さらにアバターベースで遠隔にいるチームと会議や共同作業が行えたりするなど、VRで仕事する向けのアプリケーションが揃ってきている。

大きな課題としては、HMD（ヘッドマウントディスプレイ）を装着しておかなければならない不快感が挙げられる。こればかりはデバイスが小型化されていくのを待つしかない。もう1つの大きな課題は、VR内に入れるとはいえ、物理空間と完全に切り離せないことだ。

VR内で仕事をしても、同僚に話し掛けられたり横に書類を置かれたりするなど、物理的なイベントが発生する。HMDを外してVRを一時離脱し対応しなければならない。出来上がった成果物を確認したりなど、まだまだ実世界で同時にやっていかなければならないタスクが残っている。さらに、ほかの人がオフィスで実環境を望んでいる場合は、それにも多少合わせなくてはならない。自分はVRに完全に没頭できると思っていても、外部からの「物理攻撃」がまだ残っているのが現状だ。

実証実験

そこで本研究では、部屋に設置したRGB-Dカメラ（Azure KinectやRealSense）と3D再構成を用い、実世界の一部をバーチャルシーンに映し出すシステムを提案する。

実験では、合計4台のAzure Kinectカメラを設置し、部屋の様々な部分（入り口、テーブル、ホワイトボード、ユーザーのデスク）を捉える。出力には、Oculus Qest 2を使用する。またOculus Qest 2にはRealSense D435 カメラを装着し、ユーザー視点からの実世界をバーチャルシーンに映し出せるようにした。

▲実験時のセットアップ。Azure Kinectカメラ4台、RealSense D435カメラを取り付けたOculus Qest 2がセットされる

この部屋では、実世界で人が部屋に訪れた際に、その人をセンサーで捉え、点群による3Dモデルでリアルタイムに映し出すことができる。これにより、VR空間内でアバターが近づいてきて話す感覚と似たように、HMDを外すことなく互いにコミュニケーションが取れる。

遠隔にいる人の部屋にもセンサーを配備すれば、遠隔にいるユーザーを3Dモデルとして呼び出し、同じ技術でコミュニケーションを取ることもできる。

「非同期現実」システム

特筆したいのは、センサーで捉えた部屋に入ってきた人を録画しておき、後で軌跡を3Dモデルとして再生できるところだ。

集中モードに切り替え外部をシャットダウンし、誰かが近づいて来ても表示せず聞こえない状態をつくる。その場では対応せず、来たことにすら気付かないようにしておく。後で時間ができた時に、留守電を聞くように再生し、部屋内で起きた出来事を体験する。

これによって、近づいて来た人がいつ何をしたか何を言ったかなどが体験でき、例えば、横の机の上に何かメッセージを言いながら3Dプリントした造形物を置いたことや、ホワイトボードに何を書いたかなどが正確に把握できる。

このように過去の出来事が再現されるわけだが、体験者本人は過去にタイムスリップしたように感じるかもしれない。時間軸を超えたように錯覚するこのような感覚を研究チームは、「非同期現実」（ Asynchronous Reality）と表現している。

VRで仕事をする中でまだまだ残る実世界とのやり取り、これら事象との折り合いをどのようにつけるか。本提案はそんな折り合いの取り方をユーザーで調整できるシステムといえるだろう。

Source and Image Credits: Andreas Rene Fender and Christian Holz. 2022. Causality-preserving Asynchronous Reality. In CHI Conference on Human Factors in Computing Systems (CHI ’22). Association for Computing Machinery, New York, NY, USA, Article 634, 1–15. https://doi.org/10.1145/3491102.3501836