Image-to-Image Translation with Conditional Adversarial Networks

[subinium]

• https://arxiv.org/abs/1611.07004
• pix2pix

[subinium]

Introduction

• Image-to-Image Translation Model : 이미지를 이미지로 바꿔주는 모델
• Paired Image Dataset을 사용하여 학습
  • gray scale image - rgb image 가 대표적인 예시이고
  • 그 외에도 sketch - portrait, background o/x 등이 있습니다.
• 하지만 이를 CNN with L1 Loss로 하면 Blurry한 이미지가 나옵니다.
  • CNN 입장에서는 Loss를 줄이는 게 우선이고 안정적으로 두루뭉술한 값을 선택하는게 직관적으로 당연해보임
• 보다 Photo-Realisitic한 이미지를 만들기 위해 GAN을 사용

Model Detail

• 입력이 이미지 -> 이미지에 따른 생성결과라 cGAN을 사용
• L1 Loss와 함께 사용하는데, 각각의 역할이 다름
  • L1이 Low-Frequency Content를 GAN Loss가 High-Frequency Content
• Generator는 U-Net 구조를 사용하고, Skip Connection을 사용하여 Decoder의 학습 능력을 향상 시켰다.
• Discriminator는 Patch-GAN 구조를 사용하였다.