Open Yagami360 opened 4 years ago
人物画像をユーザが希望する姿勢・体型・服装に変換することを実現するためには、主に以下の2つの課題が存在する。
従来の cGAN や VAE ベースの image-to-image 手法では、これらの2つの課題を解決出来ていなかった。本手法では、semantic geometric transfer、及び、Semantic-aware Attentive Transfer (SAT) と Layout Graph Reasoning (LGR) の2つのモジュールから構成される appearance transfer の構造を採用することで、これら2つの課題を解決している。
アーキテクチャの全体像
semantic geometric transfer / Semantic-aware Geometric Transformation
appearance transfer
損失関数 本手法のネットワークでの損失関数は、以下の式のように、L1 loss + VGG loss + CE loss + Adv loss の線形結合で定義される。
既存のモデルとの定性的な比較検証
既存のモデルとの定量的な比較検証
SAT と LGR の効果の定性検証
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
人物画像をユーザが希望する姿勢・体型・服装に変換することを実現するためには、主に以下の2つの課題が存在する。
従来の cGAN や VAE ベースの image-to-image 手法では、これらの2つの課題を解決出来ていなかった。本手法では、semantic geometric transfer、及び、Semantic-aware Attentive Transfer (SAT) と Layout Graph Reasoning (LGR) の2つのモジュールから構成される appearance transfer の構造を採用することで、これら2つの課題を解決している。
3. 技術や手法の"キモ"はどこにある?
アーキテクチャの全体像
semantic geometric transfer / Semantic-aware Geometric Transformation
appearance transfer
損失関数 本手法のネットワークでの損失関数は、以下の式のように、L1 loss + VGG loss + CE loss + Adv loss の線形結合で定義される。
4. どうやって有効だと検証した?
既存のモデルとの定性的な比較検証
既存のモデルとの定量的な比較検証
SAT と LGR の効果の定性検証
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献