Open Yagami360 opened 4 years ago
アーキテクチャの全体像と StyleGAN 拡張潜在空間への encode 処理
損失関数 本手法でのネットワーク(入力画像を encode するピラミッド構造型ネットワーク+map2style ネットワーク)は、以下の損失関数で学習される。
StyleGAN ベースの image-to-image モデルの利点 StyleGAN ベースの image-to-image モデルでは、他の一般的な image-to-image モデルと比較して、以下のようなメリットがある。
入力画像と出力画像間のピクセルレベルでの局所的な対応関係ない場合での image-to-image タスク 一般的な image-to-image モデルでは、入力画像と出力画像間のピクセルレベルでの局所的な対応関係がある場合にしかうまく出力画像を生成出来ない傾向がある。(特に UNet やピラミッド構造ネットワークでは、encoder 側の上位層からの特徴マップを decoder 側の上位層に入力しているので、その傾向が強い)
一方で、本手法のような StyleGAN ベースの image-to-image モデルでは、入力画像を StyleGAN の潜在空間へ埋め込みを行うので、入力画像と出力画像間のピクセルレベルでの局所的な対応関係がない場合にも、(原理的には)出力画像を生成出来るモデルになっている。
Style Mixing を活用したマルチモーダルな画像生成 StyleGAN では、3つの生成器層{低解像度スケール層(4×4~8×8)、中解像度スケール層(16×16~32×32)、高解像度スケール層(64×64~1024×1024)}に対して、入力する潜在変数を切り替える Style Mixing という操作により、画像詳細の局所的な画像変換処理と画像全体の大域的な画像変換処理を切り分けながら制御出来る。
既存の StyleGAN を利用した image-to-image モデルとの定性的品質比較検証
Ablation study での定性的品質検証
既存の image-to-image モデルとの定性的品質比較
sketche-to-image タスクでの既存モデルとの定性的品質比較
label-to-image タスクでの既存モデルとの定性的品質比較
0. 論文情報・リンク
実装コード(<非公式>PyTorch):https://github.com/adldotori/pSp1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
アーキテクチャの全体像と StyleGAN 拡張潜在空間への encode 処理
損失関数 本手法でのネットワーク(入力画像を encode するピラミッド構造型ネットワーク+map2style ネットワーク)は、以下の損失関数で学習される。
StyleGAN ベースの image-to-image モデルの利点 StyleGAN ベースの image-to-image モデルでは、他の一般的な image-to-image モデルと比較して、以下のようなメリットがある。
入力画像と出力画像間のピクセルレベルでの局所的な対応関係ない場合での image-to-image タスク 一般的な image-to-image モデルでは、入力画像と出力画像間のピクセルレベルでの局所的な対応関係がある場合にしかうまく出力画像を生成出来ない傾向がある。(特に UNet やピラミッド構造ネットワークでは、encoder 側の上位層からの特徴マップを decoder 側の上位層に入力しているので、その傾向が強い)
一方で、本手法のような StyleGAN ベースの image-to-image モデルでは、入力画像を StyleGAN の潜在空間へ埋め込みを行うので、入力画像と出力画像間のピクセルレベルでの局所的な対応関係がない場合にも、(原理的には)出力画像を生成出来るモデルになっている。
Style Mixing を活用したマルチモーダルな画像生成 StyleGAN では、3つの生成器層{低解像度スケール層(4×4~8×8)、中解像度スケール層(16×16~32×32)、高解像度スケール層(64×64~1024×1024)}に対して、入力する潜在変数を切り替える Style Mixing という操作により、画像詳細の局所的な画像変換処理と画像全体の大域的な画像変換処理を切り分けながら制御出来る。
4. どうやって有効だと検証した?
既存の StyleGAN を利用した image-to-image モデルとの定性的品質比較検証
Ablation study での定性的品質検証
既存の image-to-image モデルとの定性的品質比較
sketche-to-image タスクでの既存モデルとの定性的品質比較
label-to-image タスクでの既存モデルとの定性的品質比較
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献