ターゲットの表情トラッキングは事前じゃないのか？

[kosakasakas]

論文の中盤とかFig1では事前トラッキングしているように見えるけど、最初の説明のところではboth source and target的な感じでランタイムにトラッキングするといっている。 どうなんだろうか

[iwanao731]

どっちみちビデオ映像だから事前で問題ないはずなのに無駄にランタイムトラッキングしてるみたい。ただ、事前計算として（おそらくトラッキング等を使って）ターゲットの形状構築を行うと書いてあって、じゃあなぜソースの形状構築だけリアルタイムで行われているのかは謎に包まれてる。

we first reconstruct the shape identity of the target actor using a new global non-rigid model based bundling approach based on a prerecorded training sequence. As this preprocess is performed globally on a set of training frames, we can resolve geometric ambiguities common to monocular reconstruction

[kosakasakas]

これはリアルタイムトラッキングしている。 ランタイムで使っているものとIdentity作成は別シーケンスであると捉えてよいと思う。 サプリメントドキュメントを読むと、Identityの作成には6フレームくらいしか使っていないっぽい(ウル覚え。たしか)

結局これテクスチャが出力になるので、パラメータを全てキャッシュすると膨大なデータ量になる。 当然メモリに乗らないし、読み込む方がむしろ大変なのではないだろうか。

[kosakasakas]

※ここで6フレームって言っているのは使用した720pのHD画像6フレーム分という意味。計算には20秒くらいかかっている。