Open Yagami360 opened 4 years ago
アーキテクチャの全体像
SGM : Semantic Generation Module
CWM : Clothes Warping Module
CFM : Content Fusion Module
試着難易度の定量的な計測
仮想試着タスクでは、正面を向いて手を横にしている人物画像では試着合成の難易度が低く、手などでオクリュージョン発生している人物画像などでは試着合成の難易度が高くなる。 この難易度を定量的に計測するために、人物姿勢 keypoints から以下の式に従って、指標 C を計算する。
C < 68 ⇒ 難易度(高) 68 < C < 80 ⇒ 難易度(中) C > 80 ⇒ 難易度(低)
既存の仮想試着モデルである VTON, CP-VTON と比較して、本手法では、試着画像における人物同一性・服テスクチャの保存性・オクリュージョン品質が優れていることを定性的に示している。
既存の仮想試着モデルである VTON, CP-VTON と比較して、本手法では、IS, SSIM の指標、及び user study において優れていることを定量的に示している。
どの身体露出部分の人物パース画像を使用するかの ablation study より、身体露出部分の人物パース画像による品質向上効果を定性的に示している。
服変形モジュールにおける second-order difference constraint 有無の ablation study より、second-order difference constraint を導入することで、服変形品質が向上していることを定性的に示している。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
アーキテクチャの全体像
SGM : Semantic Generation Module
損失関数は、以下のように Adv loss とピクセル単位のクロスエントロピー損失関数との線形結合で定義される。 ※ 実験では、結合係数として λ_1=1.0, λ_1=10.0 を使用
CWM : Clothes Warping Module
CFM : Content Fusion Module
試着難易度の定量的な計測
仮想試着タスクでは、正面を向いて手を横にしている人物画像では試着合成の難易度が低く、手などでオクリュージョン発生している人物画像などでは試着合成の難易度が高くなる。 この難易度を定量的に計測するために、人物姿勢 keypoints から以下の式に従って、指標 C を計算する。
C < 68 ⇒ 難易度(高) 68 < C < 80 ⇒ 難易度(中) C > 80 ⇒ 難易度(低)
4. どうやって有効だと検証した?
既存の仮想試着モデルである VTON, CP-VTON と比較して、本手法では、試着画像における人物同一性・服テスクチャの保存性・オクリュージョン品質が優れていることを定性的に示している。
既存の仮想試着モデルである VTON, CP-VTON と比較して、本手法では、IS, SSIM の指標、及び user study において優れていることを定量的に示している。
どの身体露出部分の人物パース画像を使用するかの ablation study より、身体露出部分の人物パース画像による品質向上効果を定性的に示している。
服変形モジュールにおける second-order difference constraint 有無の ablation study より、second-order difference constraint を導入することで、服変形品質が向上していることを定性的に示している。
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献