アーキテクチャの全体像
GarmetGAN のアーキテクチャは、一般的な2次元画像ベースの仮想試着モデルと同様にして、「人物パース画像を生成するネットワーク」、「変形服を生成するネットワーク(GMM に対応)」、「試着を行うネットワーク(TOM に対応)」から構成される。
但し、GMM と TOM に対応するネットワークは、1つの連結した end2end ネットワークになっている。
※ GMM と TOM に対応するネットワークが、end2end になっているのは WUTON [End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On] と同じ発想。
① Shape transfer Network:試着対象部分をアシストするための人物パース画像を生成する。
② Appearance transfer Network : 変形服を生成するネットワーク(GMM に対応)と試着を行うネットワーク(TOM に対応)から構成される1つの連結した end2end ネットワーク。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
アーキテクチャの全体像 GarmetGAN のアーキテクチャは、一般的な2次元画像ベースの仮想試着モデルと同様にして、「人物パース画像を生成するネットワーク」、「変形服を生成するネットワーク(GMM に対応)」、「試着を行うネットワーク(TOM に対応)」から構成される。 但し、GMM と TOM に対応するネットワークは、1つの連結した end2end ネットワークになっている。 ※ GMM と TOM に対応するネットワークが、end2end になっているのは WUTON [End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On] と同じ発想。
① Shape transfer Network:試着対象部分をアシストするための人物パース画像を生成する。 ② Appearance transfer Network : 変形服を生成するネットワーク(GMM に対応)と試着を行うネットワーク(TOM に対応)から構成される1つの連結した end2end ネットワーク。
Shape transfer Network
Appearance transfer Network
4. どうやって有効だと検証した?
既存の仮想試着モデル(CP-VTON)と比較して、試着画像の品質が改善していることを定性的に検証している。(Our w/o PTS は、end2end で学習していない CP-VTON の GMM を用いた場合の試着画像?)
既存の仮想試着モデル(CP-VTON)との IS と FID スコアの比較から、定量的にも改善していることを検証している。
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献