- Perceptual Loss
正解画像と生成画像との間の VGG perceptual loss
- Face Identity Loss
目標人物画像からクロップした顔領域画像に対しての損失関数。
顔の同一性を向上させる効果がある
- Adversarial Loss
LSGAN での Adv loss。
本手法では{画像全体の識別器・身体の識別器・顔の識別器}の3つの識別器が存在するので、
それぞれに応じた3つの 生成器側 Adv loss の線形結合になる。
- Attention Regularization Loss
正解 attention mask との損失関数を取らずに、attention mask を生成すると、
attention 値が容易に1に飽和してしまうので、
生成 attention mask に TV loss で制約を課す損失関数を追加する。
※ TV loss は、生成画像を滑らかさにする効果がある
推論データでの追加学習
本手法では、上記手法で学習した Attentional Liquid Warping GAN モデルに対して、
推論時のデータで追加学習を行うことで、その推論データでの品質を向上させている。
この際に、識別器に関してはゼロから学習し直すようにする。
また、識別器としては大域的な識別器のみを使用する
推論データでの追加学習時の損失関数は、Adv loss を除いた損失関数となる。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
アーキテクチャの全体像
Body Mesh Recovery
Flow Composition
Attentional Liquid Warping GAN の生成器
Attentional Liquid Warping GAN の識別器
損失関数 Liquid Warping GAN のネットワークは、以下の損失関数で学習される。
推論データでの追加学習 本手法では、上記手法で学習した Attentional Liquid Warping GAN モデルに対して、 推論時のデータで追加学習を行うことで、その推論データでの品質を向上させている。
この際に、識別器に関してはゼロから学習し直すようにする。 また、識別器としては大域的な識別器のみを使用する 推論データでの追加学習時の損失関数は、Adv loss を除いた損失関数となる。
4. どうやって有効だと検証した?
学習用データセット
既存のモデルとの定性比較検証
定性検証
定量検証
推論データでの追加学習の効果
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献