Open Yagami360 opened 4 years ago
SMPL の拡張 本手法では、既存の人物メッシュ3D再構成モデルと同じく、統計的手法に基づくパラメディック制御可能な人体メッシュ生成モデルである SMPL を利用している。
SMPL でのメッシュ生成処理は、以下の式のように定式化される。
衣装の頂点変位層 / VAE-GAN フレームワークでの GCN層
損失関数 本手法でのネットワークは、以下に定義された損失関数の線形結合で学習される。
CAPE Dataset
【補足】既存のモデルとの比較
メッシュ Encoder の定性的品質比較検証
未知の人物姿ポーズに対する生成メッシュの定性的品質検証
画像から人物メッシュを3D再構築するアプリケーションでの定性的品質評価
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
SMPL の拡張 本手法では、既存の人物メッシュ3D再構成モデルと同じく、統計的手法に基づくパラメディック制御可能な人体メッシュ生成モデルである SMPL を利用している。
SMPL でのメッシュ生成処理は、以下の式のように定式化される。
衣装の頂点変位層 / VAE-GAN フレームワークでの GCN層
GAN のアーキテクチャを適用可能にするために、PatchGAN をグラフ構造に対して適用可能した Patchwise discriminator を採用する。 これにより、上図の赤枠にように、頂点変位グラフの各頂点に隣接する頂点(=面)に対して、Real or Fake を識別出来るようになる。 この Patchwise discriminator のネットワークの詳細構造は、以下のようになる。 - 入力データ{θ,c}の変換 / Conditional model
SMPL の人物姿勢パラメータθは、72 次元の軸各表現 [axis-angle representation] であり、ニューラルネットワークが直接学習するのは困難である。 そのため、ロドリゲスの回転公式の表現行列 [Rodrigues rotation transformation] を用いて、パラメータθを回転行列に変換する。 また、衣装カテゴリ c は one-hot encode される。 encoder-decoder のグラフ畳み込みで学習されたグラフ特徴量と、これら条件入力{θ,c}の次元数のバランスをとるために(=concat 出来るように)、条件入力{θ,c}はまず小さな FC 層でそれぞれ C_1 (θ),C_2 (c) に変換される。 これら条件入力{θ,c}は、上図赤枠のように、VAE 内の bottleneck 部分と decoder 部分全ての箇所で concat して入力される。
損失関数 本手法でのネットワークは、以下に定義された損失関数の線形結合で学習される。
CAPE Dataset
【補足】既存のモデルとの比較
4. どうやって有効だと検証した?
メッシュ Encoder の定性的品質比較検証
未知の人物姿ポーズに対する生成メッシュの定性的品質検証
画像から人物メッシュを3D再構築するアプリケーションでの定性的品質評価
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献