CycleGAN : Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

[doublejy715]

이전 연구

pix2pix

• self supervised 형식 : label을 하지 않고 흑백/컬러 사진을 정답지로 이용할 수 있기 때문
• GT에 비해서 디테일한 부분에서 blur가 발생, 부조화스러운 현상 발생

Abstract

• image-to-image translation은 짝 지어진 형태의 이미지 train 세트를 이용해 input image와 output image를 매핑하는 것이 목표인, 컴퓨터 비전과 그래픽의 한 분야이다.
• 실제에서는 짝지어진 학습 데이터를 얻는 것이 불가능한 경우가 많으므로 짝 지어진 예시 없이 X라는 도메인으로 부터 얻은 이미지를 타깃 도메인 Y로 바꾸는 방법을 제안한다.
• Adversarial loss를 이용하여, G(x)로부터 만들어진 이미지를 Y 이미지와 매우 유사하게 만드는 generator를 학습시키는 것이다.(G:X->Y) 이러한 매핑(함수)은 제약* 이 적기 떄문에, 우리는 F:Y-> X와 같은 역방향 매핑을 함께 진행하였다.
• F(G(x))의 결과가 x와 유사해지도록 강제하는 cycle consistency loss를 도입하였다.
• 결과적으로 짝지은 데이터 없이 style transfer, object transfigureation, season transfer 같은 태스크에서 퀄리티 높은 결과가 나타났다.

Introduction

• 이 논문에서는 짝지어진 학습 데이터 없이

Formulation

• 주 목표는 주어진 도메인 X와 Y를 매핑하는 함수를 학습하는 것