SMPL 人体メッシュから服メッシュの抽出
本手法では、Multi-Garment Network と同じ用に、SMPL での人体メッシュから衣装メッシュ部分を抽出する。
SMPL は、裸体人体メッシュ M を人物形状パラメーターβと人物姿勢パラメーターθでパラメディックに生成可能なモデルであり、以下の式のように定式化される。
Multi-Garment Network では、この SMPL での人体メッシュ(非スキンメッシュアニメーション) T(β,θ) に対して、人体メッシュからの頂点変位 D を計算し、服メッシュを抽出している。
これらを定式化すると、以下のような式になる
本手法では、この頂点変位 [non-rigid deformation] D を固定ではなく、{人物形状パラメーターβ・人物姿勢パラメーターθ・服スタイルγ(服サイズ、袖の長さなど)}の関数として学習する。
Un-posing での頂点変位 D の取得 / Un-posing Garment Deformation
(4) 式で得られた衣装メッシュ G に対して?、un-posing というスキンメッシュアニメーションを行う関数 W の逆変換 W^(−1) を行う処理を行い、non-rigid deformation D を得る?
Garments to Generate Styles
i. digital wardrobe にある衣装メッシュを初期形状 β_0 に re-target し、初期ポーズ θ_0 の姿勢の元で物理シミュレーションする。
ii. 43 種類の衣装データセット {G(β_0,θ_0,D_i )} でスタイル空間を学習する?
※ スタイル空間:Single Style-Shape Model で学習している空間?
iii. 学習したスタイル空間は、SMPL での registration 処理により不規則なパターンや歪みが含まれているため?、PCA モデルから 300 個のスタイルをサンプリングして歪みの少ないデータセットを取得し、そのデータセットに対して物理シミュレーションを行う。
Shape, Pose and Style Variations(何言っているのか全然理解できなかったので原文のまま記載)
We choose 9 shapes manually as follows. We sample the first two shape components β at 4 equally spaced intervals, while leaving the other components to zero. To these 4 × 2 = 8 shapes, we add canonical zero shape β0. We choose 25 styles in a similar way - by sampling the first two sytle γ components.
We simulate all combinations of shapes and styles in canonical pose, which results in 25 × 9 = 225 instances. We choose 20 prototypes out of 225 style-shape pairs as training style-shape pairs using the approach mentioned in Section 4.4. We randomly choose 20 more style-shape pairs for testing.
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
アーキテクチャの全体像
SMPL 人体メッシュから服メッシュの抽出 本手法では、Multi-Garment Network と同じ用に、SMPL での人体メッシュから衣装メッシュ部分を抽出する。 SMPL は、裸体人体メッシュ M を人物形状パラメーターβと人物姿勢パラメーターθでパラメディックに生成可能なモデルであり、以下の式のように定式化される。
Un-posing での頂点変位 D の取得 / Un-posing Garment Deformation (4) 式で得られた衣装メッシュ G に対して?、un-posing というスキンメッシュアニメーションを行う関数 W の逆変換 W^(−1) を行う処理を行い、non-rigid deformation D を得る?
制御パラメーターとしての服スタイルの生成 / Generating Parametric Model of Style 本手法では、Multi-Garment Network で公開されている3D服メッシュを用いて、PCA 部分空間を計算し?、あるポーズに対してのスタイルを生成する。 但し、Multi-Garment Network での方法では、3D服メッシュを正準的なポーズと形状のメッシュに変換出来るものの、得られた衣装メッシュのシワが物理的制約を満たしていないケースが存在する問題があるので、 本手法では、PCA 空間からのサンプリングと、サンプリング上での物理シミュレーション(PBS)を交互に実行する。 これにより、PCA 係数 γ を持つあるポーズに対する服スタイル γ の部分空間を得ることができ、衣装メッシュのシワなどの物理的制約を満たした服スタイルの生成を可能にしている。 → メッシュに対しての PCA 変換の話が理解出来ていない。
Single Style-Shape Model
TailorNet
頂点変位 D を D=D(β,θ,γ) でモデリングし、単一の MLP で直接学習すると、メッシュ表面が滑らかになりすぎて品質が低下するという結果になる。 ※ それ故に、Single Style-Shape Model D_(ϕ=(γ,β) ) :R|θ| →R(m×3) で、D を (γ,β) のみの関数にしている
これは、学習用データには多様なシワ(高周波数)をもつデータが含まれるので、単一の MLP で学習すると、こららが平均化さえてメッシュ表面が滑らかになりすぎてしまうためだと考えられる。 そのため本手法(TailorNet)では、衣装メッシュの頂点を un-pose された空間 で、低周波形状 と高周波形状 に分解する。
具体的には、以下のような処理を行う。
衣装メッシュの表面を f(x,t):G→R とすると、メッシュ表面を滑らかにする拡散方程式は以下のように定式化される。
次に、この から (5) 式のように I×T(β,θ) を減算し、以下の式のように、頂点変位成分を個別に推定する。この式は、低周波形状にカーネル関数で重み付けして混合した高周波形状を加えた式になっている。
学習用データセットの作成 物理シミュレーションで得られた衣装メッシュと衣装パラメーターのペアデータでモデルを学習する。 物理シミュレーションは、Marvelous Designer と呼ばれる市販ツールを使用して行う。 Multi-Garment Network で公開されている digital wardrobe にあるデータ(衣装スタイル・衣装形状・ポーズ)を利用する。
具体的には、以下のような処理を行う
Garments to Generate Styles i. digital wardrobe にある衣装メッシュを初期形状 β_0 に re-target し、初期ポーズ θ_0 の姿勢の元で物理シミュレーションする。 ii. 43 種類の衣装データセット {G(β_0,θ_0,D_i )} でスタイル空間を学習する? ※ スタイル空間:Single Style-Shape Model で学習している空間? iii. 学習したスタイル空間は、SMPL での registration 処理により不規則なパターンや歪みが含まれているため?、PCA モデルから 300 個のスタイルをサンプリングして歪みの少ないデータセットを取得し、そのデータセットに対して物理シミュレーションを行う。
Shape, Pose and Style Variations(何言っているのか全然理解できなかったので原文のまま記載)
→ この学習用データセット作成のための処理が、何を言っているのか全然理解できなかった
4. どうやって有効だと検証した?
Single Style-Shape Model での定量結果
TailorNet での既存のモデルとの定性比較検証
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献