その後、その他のネットワークを以下に定義した損失関数の線形結合で学習する。
- Losses on shape parameters
{SMPL 制御パラメータβ,θ・ワールド変換パラメータ t ・衣装形状パラメータα}に関しての、生成値と正解データの間の L2 loss。
人物姿勢パラメータθに関しては、θで直接 loss をとるのではなく、ロドリゲスの回転公式の表現行列 R で loss をとる。
SMPL 人体メッシュに対してのパラメータ{β,θ,t}と衣装メッシュに対してのパラメータ{α}は、それぞれ別の損失関数で学習される。
- Losses on geometry
服装メッシュ M とメッシュのジョイント点 J に関しての損失関数。
服メッシュの頂点変位 D に関しての損失関数。
詳細な reconstruction を実現するために、生成した頂点変位と正解頂点変位間での L1 loss と、ラプラシアン座標上での生成した頂点変位と正解頂点変位間の L2 loss を採用している
- Losses of projection
生成3Dメッシュと正解3Dメッシュをそれぞれ2D画像に射影レンダリングした画像間での損失関数。
人体メッシュと服メッシュは、別の損失関数で定義される
- Losses of classification
推定した衣装トップス or ボトムズ分類スコア {u,d} とその正解データとの間の分類エラーにペナルティーを課すための softmax loss
- Losses of interpenetration
論文「Garnet: A two-stream network for fast and accurate 3d cloth draping」にインスパイアされた損失関数
生成した人体メッシュと衣装メッシュとの間に相互貫通 [interpenetration] が発生することを防止する効果がある。
Skinning Weight Network が様々な衣装カテゴリに対応出来るようにするために、attention 付きのグラフ畳み込みである GAT を使用している点に注目。
Skinning Weight Network と Displacement Network のアーキテクチャの詳細が理解できていない。詳細を知るには、論文「Neuroskinning: automatic skin binding for production characters with deep graph networks」を読み必要がありそう
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
アーキテクチャの全体像
SMPL の利用と衣装メッシュ生成 本手法では、Multi-Garment Net などの既存の image-to-3D モデルと同じく、統計的手法に基づくパラメディック制御可能な人体メッシュ生成モデルである SMPL を利用している。 SMPL でのメッシュ生成処理は、以下の式のように定式化される。
Image Encoder
Skinning Weight Network
Displacement Network
損失関数 本手法では Skinning Weight Network を、以下の損失関数で学習する。
データセットの作成
Skinning Weight Dataset Skinning Weight Network を学習するためには、正解データとしての頂点ブレンディング重みが必要である。 そのため本手法では、全ての衣装カテゴリに対して、頂点ブレンディング重みのデータセットを作成している。
Synthetic Dataset Construction 本手法では、学習用データセットとして{入力人物画像・人体メッシュ・服メッシュ}のペアデータが必要になるが、このようなデータセットが公開されていないために、NVIDIA の物理シミュレーションソフトウェアである FleX とレンダリングソフトウェアである Blender を用いて、下図のような物理シミュレーションに基づき、学習用データ作成を行っている。
HD Texture Dataset
4. どうやって有効だと検証した?
本手法での生成メッシュの品質検証&既存のモデルとの品質比較検証
Garment Transfer への応用
本手法での限界点
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献