Example-Based Expressive Animation of 2D Rigid Bodies

例示ベースの手書きアニメーションのスタイライゼーション手法

論文本体・著者

Marek Dvorožňák(CTU in Prague, FEE), Pierre Bénard (University of Bordeaux), Pascal Barla(INRIA), Oliver Wang(Adobe Research), Daniel Sýkora(CTU in Prague, FEE)
http://dcgi.fel.cvut.cz/home/sykorad/animation.html
SIGGRAPH 2017

解きたい問題


論文 Fig 2より

F^SとF^EのペアからアニメーションスタイルDを抽出し、DをF^Tに適応させることでF^Oを得る。

新規性

従来の手書きアニメーションの物理パラメータや変形の分析がなされている。
例示アニメーションから得られるパラメタを元にした変形アルゴリズムを用いている。
動きだけでなくストロークのスタイルも含めてアニメーションの画風変換を可能にしている。

実装

F^SとF^Tは、物理シミュレーションを基に作成する。
F^Eは、アーティストがフレームバイフレームでスタイルを付ける。

タイミングに関して

キーイベント前後のフレームは、双方のキーイベント前後のサブフレームをオーバーラップさせる。

F^SからF^Eスタイルシークエンスの変形について

最初、大雑把に著者らによる変形手法(As-Rigid-As-Possible Image Registration for Hand-drawn Cartoon Animations)を用いて計算する。
ただし、この手法は四角形メッシュを剛体と仮定して変形を求める手法となり、手書きアニメーションの不自然な大きな変形に耐えられない可能性がある。そこで、別の手法(Meshless Deformations Based on Shape Matching)も採用し、ここから得られる以下の変換行列Dを元に変換を行う。 Dは以下のような Affine行列 A, purely quadratic行列 Q, mixed m, and translation行列 tに分解される。

F^SからF^Tのマッチングについて 重心速度と起動方位の差、重心周りの回転の違いの３点を元に類似度を計算。上で求めた3つの重みづけ線形輪を類似度として、変換Dに掛け合わせることで、F^Oのキーフレームが生成される。キーフレームの変換が終わったら、その間はN-way morphingで補間。ストロークの画風変換にはStylitを用いる。テクスチャ張りたい場合は、テクスチャ張ったF^S、F^E、F^Tと、輪郭線だけのF^S、F^E、F^Tが必要になる。

実験・議論

Results

http://dcgi.fel.cvut.cz/home/sykorad/animation.html の動画を見たほうがいい。


論文 Fig.1 より

ボールの衝突による変形がよく表現されてる。
Stylitも有効活用されている。

Limitation and future work

アニメーションは単純な剛体のみで、そうでない場合変換が破たんする場合がある。
アーティストが手を加えるフレームなどをモデル化できていない。
左右非対称のオブジェクトに適応する場合、例示が対象のオブジェクトと比べて単純化できない。

読んだ中での不明点などの感想

as-rigid-asを最初計算した結果は、どう使われるのかがいまいちわからなかった。
既存研究の組み合わせではあるが、見た目がかなりいいし、デフォーメーションのスタイライゼーションというテーマで論文を見るのは目新しい。(みんなやりたかったんだけどうまく方法を体系化できていなかったのではないかと思う)

DwangoMediaVillage / paper_readings

Example-Based Expressive Animation of 2D Rigid Bodies #17