写真から生成した3Dモデルに人の手が触れたときの「弾力や揺れ」をリアルに再現する手法「PIE-NeRF」【研究紹介】

米ユタ大学などに所属する研究者らが発表した論文「PIE-NeRF: Physics-based Interactive Elastodynamics with Neural Radiance Fields」は、物理ベースのシミュレーションをNeRFで生成された3Dシーンに適用する研究である。この統合により、静的な3Dシーンに物理法則（重力、力、運動）を適用し、動的特性のリアルなシミュレーションが可能となる。例えば、枝を引っ張って放すと、その力に応じて植物が揺れ動くような、3Dオブジェクトが実世界の設定でどのように動き相互作用するかを計算する。

「NeRF」は、複数の角度から撮影された被写体の写真を活用し、多層パーセプトロン（MLP）ネットワークを通じて被写体の3Dシーンの色彩、質感、形状情報を復元する技術である。この技術の高い実用性と有効性は、視覚的な品質向上、速度の向上、入力データの簡素化など、様々な研究で示されている。

また、NeRFを用いた応用は新規な視点生成から動的なシーンの構築、形状の編集に至るまで広がっている。ただし、現在のNeRFの枠組み内では、実際の物理に基づいた複雑な非線形で時間的連続性を持つ弾性動力学的運動の合成は、まだ深く研究されていない領域である。

今回提案するのは、物理ベースのシミュレーションをNeRFシーンに統合したフレームワーク「PIE-NeRF」である。このフレームワークは、ユーザーがNeRFで再現した3Dシーンと実際の物理法則に沿ってインタラクションできるようにするものである。

PIE-NeRFの要となるのは、複雑な動きや形状の変化を計算するモジュール「Quadratic Generalized Moving Least Squares」（Q-GMLS）である。これはフレームワークを動かすエンジンとして機能し、NeRFの空間内で弾性や変形などの物理的振る舞いを解釈しシミュレートする。入力は他のNeRFベースのフレームワークと同様で、静的なシーンの複数枚の画像で構成される。

複雑なシミュレーションを行う際、PIE-NeRFは賢く空間を分割し計算を簡素化している。この方法は、特定の範囲を監視するセンサーを上手に配置するようなものであり、計算が必要な部分に計算リソースを集中させ、リアルタイムでの相互作用とシミュレーションを可能にし、最終的な結果の品質を保っている。

ここでの革新は、NeRFの連続的な空間内で物理的な特性と動きを計算し、メッシュの必要性を回避する点である。このメッシュレス方法は、技術的な新規性だけでなく、サンプリング解像度に依存しないシミュレーションを可能にし、計算要求を大幅に減少させる利点を持つ。

このように計算されて出力される動きは、ゴムの弾力性を持ち、重力やユーザーが引っ張る力などの物理法則に従った動的なアニメーションがリアルタイムで再構築される。評価実験では、複数枚の写真から再現されたレゴのショベルカーのアーム部分を柔軟に動かしたり、ライオンの石像を半分にカットして首が床に落ちる様子を再現したり、球体に布を被せた際の布のシミュレーションを正確に再現するなどして、PIE-NeRFの性能を実証した。

Source and Image Credits: Feng, Yutao, et al. “PIE-NeRF: Physics-based Interactive Elastodynamics with NeRF.” arXiv preprint arXiv:2311.13099 (2023).