Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

[SEOJIN-Lab]

Image-to-image translation : 짝지어진 형태의 이미지 train 세트를 이용해 input 이미지와 output 이미지를 매핑하는 것이 목표인, 컴퓨터 비전과 그래픽의 한 분야

항상 짝지어진 데이터 셋을 얻을 수는 없음 → 짝지어진 예시 없이 X라는 도메인으로부터 얻은 이미지를 타깃 도메인 Y로 바꾸는 방법 제안

Adversarial loss를 이용 ~ G:X →Y 를 학습 ~ F:Y→X 와 같은 역방향 매핑 ~ F(G(x)) 가 X와 유사해지도록 ~ cycle consistency loss 도입

→ adversarial loss와 cycle loss를 모두 사용할 때가 성능이 가장 좋음

---

↓ CycleGAN 성능 확인 figure

Limitations and Discussion

• 도메인 데이터 셋 끼리의 공통 부분이 적거나 존재하지 않을 때 (애초에 학습이 안되기 때문에)
• 짝지어진 이미지 데이터 셋으로 훈련시킨 것과 성능 차이가 존재할 수도 있음
• semantic한 supervision이 약하게 or self-supervision 방식으로 도입 (~ 더욱 강력한 translator가 될 것이라고 주장)

[minha62]

CycleGAN 논문이군요! 다음에 CycleGAN으로 프로젝트 해보고 싶어지네요!! 좋은 내용 감사합니다:)

[Si-jeong]

잘 읽었습니다 :)

[m0oon0]

두가지 loss를 모두 사용한 모델이군요! !잘읽었습니다!

[chaerin314]

잘 읽었습니다!