「顔を少し若返らせて動画配信」 人の若さ具合を自在に変えられる映像編集ツール、Disneyが開発【研究紹介】

2022年12月12日

山下 裕毅

先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」を運営。最新の研究情報をX(@shiropen2)にて更新中。

スイスのDisney ResearchとETH Zurichに所属する研究者らが発表した論文「Production-Ready Face Re-Aging for Visual Effects」は、映像中の顔のリ・エイジング(若くしたり老けさしたりすること)を手軽に行えるシステムを提案した研究報告である。シワが少なくなって若返った顔の頭部や表情が激しく動いても、同一性を損なうことなく若さを維持したまま自然な動きを見る物に知覚させる。

▲(左)オリジナル(右)老けさした顔

研究背景

映画作品や広告において、役者を老けさせたり若くしたりを施した人物の使用は、ここ数年で劇的に増加した。

▲左端がオリジナルの顔、上段が老けさせた顔のシーケンス、下段が若くした顔のシーケンス

昔ながらの手法では、職人が特殊メイクを行い、俳優を若くしたり老けさせたりしていた。当然ながら手間と時間がかかる上、技術的にも熟練した技を必要とする。

CGによるデジタル加工が行えるようになってからは、撮影した俳優に対して編集でフレーム毎に丁寧に手作業で加工していくタスクが使えるようになった。だがフレームが多い分、時間と労力が大量にかかってしまう上、加工するセンスも必要となる。例えば、俳優を老けさせる場合、各フレームでは、予想される耳や鼻の成長、筋肉の衰えや顔の皮膚のたるみ、ダイナミックなシワの追加、さらには皮膚の色素や血流の変化などを統合しなければならない。時間とセンスを必要とする作業である。

研究過程

昨今では、深層学習を用いたデジタルリ・エイジング技術が発展してきており、良好な結果を示している。しかし、静止画像の正面顔のみであり、動画への適応はできていない。無理やり動く顔に適応すると、顔の特徴を必ずしも忠実に表現できないため、必然的にアイデンティティの喪失が見られる。

今回の研究ではこの課題に対し、ビデオ画像に直接適用可能で、1フレームあたりわずか5秒程度でリ・エイジングが可能な手法「Face Re-Aging Network」(FRAN)を提案する。動画に適応でき、さらに高速で加工が行えるという。

これまでの深層学習モデルを活用した手法では、映像中の実際の顔に適応することは困難だと先に述べたが、良い面もある。写実的で一貫した老化効果を持つ実在しない合成顔からなる豊富な大規模データセットを作成できることだ。このようなデータセットでは、顔は合成であっても、年齢を問わず一貫性を保つことが可能である。これにより、年齢のみが異なる、同じ人物と背景、同じ視点と照明、同じ表情のペア学習画像を得ることができる。

そして今回は、この合成されたペアのデータセットを活用し、顔のリ・エイジングを実用的な画像間変換タスクとしてU-Netアーキテクチャを教師ありで学習を行う。

▲本ネットワークの概要

学習したモデルは、18歳から85歳の範囲において、顔画像に自然になじむように肌の領域のデジタル処理が行われ、また自由な視点、奥行き、表情、頭部の動き、照明条件など、様々な状況下で撮影したビデオに対して、高解像度かつ時間的に安定したリ・エイジング結果を提供する。

▲FRANは入力された顔写真(左端)に対して、ターゲットの同一性を維持しつつ、一貫してリアルなリ・エイジングを行う

研究結果

出力結果は素晴らしく、その人のアイデンティティを残した老け顔や若返った顔が表現され、見た感じ合成されていると分からないほどである。また加工後に表情を激しく変えたり、首を振ったりしてもその精度は変わらず、老け顔や若返った顔の雰囲気のまま自然な動きが出力される。

▲表情(1列目)、頭部姿勢(2列目)、照明(3列目)の変化を制御した極端な条件下でのFRANの結果

Source and Image Credits: Gaspard Zoss, Prashanth Chandran, Eftychios Sifakis, Markus Gross, Paulo Gotardo, and Derek Bradley. Production-Ready Face Re-Aging for Visual Effects

関連記事

人気記事

公式SNSで
最新おすすめ記事を配信中!

キャリアと技術の可能性が見つかるメディア レバテックメディアLAB

  • コピーしました

RSS
RSS