Adobeなどの研究者らが開発 「動く落書き」を動画内に溶け込むように描ける編集技術「VideoDoodles」【研究紹介】

Adobeなどに所属する研究者らが発表した論文「VideoDoodles: Hand-Drawn Animations on Videos with Scene-Aware Canvases」は、専門知識がなくても映像内のオブジェクトにアニメーションスケッチ（動く落書き）を追加できる手法を提案した研究報告である。描いた動く落書きは、オブジェクトが動くと追従して動き、正しい遠近感とオクルージョン（オブジェクトによって隠れる現象）を回避して表現される。

• keyboard_arrow_down 研究背景
• keyboard_arrow_down 研究内容

ビデオコンテンツと動く落書きを組み合わせると、ユニークで印象的な動画を作成することができる。ただし、このタスクでは、描かれたスケッチが映像内のオブジェクトの動きと調和しなければならない。

たとえば、路面電車の動画にいくつかの動く落書きを追加する場合を考えてみよう（図1）。路面電車の上に顔を描く場合、アーティストは、路面電車が移動するにつれて目や口、手が追従するように複数のフレームにわたって描かなければならない。路面電車が動くと、目や口、手がずれてしまうためだ。さらに、路面電車の向きや大きさも手前に来るにつれて変化するため、目や口、手の角度や大きさなどを動きに合わせて調整する必要がある。

さらに、オクルージョンが存在する場合にも考慮する必要がある。路面電車が動くと、落書きの虹が路面電車と重なるため、重なるフレームでは後ろのオブジェクトを消して見えなくする必要がある。このように、効果的な動く落書きを作成するには、元の映像と調和するように埋め込む必要がある。

通常アーティストは、ビデオをアンダーレイとして使用し、フレームごとに動く落書きを手作業で描き、キーフレーム補間とバイナリマスクを使用してオクルージョンを考慮しながら再現する。これには多くの時間と専門的な技術が必要である。

一方、プロのビデオ編集ソフトウェアには、ビデオの動きに追従するコンテンツを挿入するためのさまざまなトラッキング・アルゴリズムが提供されている。ただし、これらのアルゴリズムには微調整が必要な多数のパラメータが付属しており、オクルージョンが存在する場合や信頼性の低い画像特徴がある領域ではエラーが発生しやすい。

本研究では、先述のような難しい編集技術である動く落書きの挿入を手軽に行えるようにすることを目指している。提案するシステムは「VideoDoodles」と呼ばれ、専門家でない人でも直感的に操作して編集できる利点を持つ。

システムでは、何気なく撮影されたビデオが入力されると、まず最新のコンピュータビジョン技術を使用して、カメラ、オプティカル・フロー、高密度の深度マップを含む各フレームの情報を取得する。次に、この取得した情報を活用して、ユーザーが落書きをするための平面3Dキャンバスを導入する（図2の白い四角）。

この平面3Dキャンバスは、新しいトラッキング・アルゴリズムが採用されているため、映像内のオブジェクト（図2のブランコに乗る人）が動いても、3D位置と向きを考慮し、追従して表示される。また、手前の柱に隠れると自動的に見えなくなる加工も行われる。このように、キャンバスをシーン内の3D点に固定することで、システムは説得力のある遠近感とオクルージョン効果を持つ落書きを自動的にレンダリングする。

ユーザーインターフェースの主な機能は次の通りである。

まず、被写体（図3では赤ちゃん）の頭に平面3Dキャンバスをマウスで操作して配置する。キャンバスの大きさや角度は自由に調整できる。配置すると、その箇所の軌跡が表示される（図3のレインボー色が赤ちゃんの頭部の軌跡を表している）。軌跡上を動く際にキャンバスにいくつかの絵を描く。これにより、動く被写体に合わせて描いた絵も追従し、オクルージョンも考慮された表現が再現される。

実際に挿入して動いている映像は、下記の動画で確認されたい。

Source and Image Credits: Emilie Yu, Kevin Blackburn-Matzen, Cuong Nguyen, Oliver Wang, Rubaiat Habib Kazi, Adrien Bousseau. VideoDoodles: Hand-Drawn Animations on Videos with Scene-Aware Canvases.