イスラエルと米国の研究者らが開発　3Dモデルを簡単編集できるAIシステム「GeoCode」【研究紹介】

イスラエルのテルアビブ大学、米シカゴ大学、米パデュー大学に所属する研究者らが発表した論文「GeoCode: Interpretable Shape Programs」は、ユーザーがパラメータを操作することで、3次元形状を直感的に編集できるシステムを提案した研究報告である。与えられた点群やスケッチをパラメータ空間にマッピングするニューラルネットワークを用いることで、パラメータ表現を変換して高品質なメッシュ出力を実現する。

• keyboard_arrow_down 研究背景
• keyboard_arrow_down 研究内容
• keyboard_arrow_down 研究評価

高品質な3次元形状を表現し、操作するための表現力豊かで直感的な空間を考案することは、3D形状を素人でも直感的に操作できるインタフェースという意味でも、コンピュータビジョンと3Dグラフィックスにおける長年の目標である。

重要な課題は、高レベルの指示を低レベルに変換し、形状の構造的妥当性を維持することである。つまり、プルダウンやスライダーのようなWebで入力する際によくみるユーザーインタフェースで操作し、変形させても3D形状が崩れないようにすることである。

3次元形状を編集するための多くの既存技術は、形状のニューラル陰関数表現（neural implicit representations）に強く依存している。だが、得られる形状はしばしば望ましくないアーチファクトや浮遊部分を含んでおり、既存の3Dモデリングやコンピュータグラフィックスパイプラインで直接利用できないのが現状である。

本研究では、人間が解釈可能なパラメータを高品質で直感的に編集可能な3Dメッシュにマッピングする合成システム「GeoCode」を提案する。このシステムでは、3次元点群データや2次元スケッチから高品質な3次元形状が生成され、生成された3次元形状のパーツごとに意味的な情報が付与される。

さらに、高レベルのパラメータを変更すると、変更された形状が構造的に妥当であることを保証する一連の低レベルの命令が生成される。例えば、下の画像では、（左図）椅子の入力形状があったとして、（中央図）椅子のシートのみを修正するとその他のパーツとかみ合わなくなり好ましくない結果になるが、（右図）本システムを用いると編集した内容が他のパーツに適切に伝搬され、全体が壊れずに変形される。

GeoCodeは、3次元点群データやスケッチの入力を編集可能なパラメータ空間にマッピングするように学習される。エンコーダに入力されると埋め込みベクトルを取得し、解釈可能なパラメータを予測する一連のデコーダに供給される。パラメータ表現が与えられると、構成によって高品質の形状を生成する一連のルールを強制する。

GeoCodeの精度を評価するため、既存の類似手法と比較する実験を行った。その結果、GeoCodeは既存の手法よりも正確に3D形状を推論・復元できることがわかった。

また本システムは、ユーザーが作成した自由形式のスケッチ、一般的な画像から生成したスケッチ、ノイズの多い点群データ、実世界の点群スキャンなど、学習セットとは異なる分布の入力に対して汎化できることも示した。

Source and Image Credits: Pearl, Ofek, Itai Lang, Yuhua Hu, Raymond A. Yeh, and Rana Hanocka. “GeoCode: Interpretable Shape Programs.” arXiv preprint arXiv:2212.11715 (2022).