Progressive Growing of GANs for Improved Quality, Stability, and Variation

[subinium]

• https://arxiv.org/abs/1710.10196
• PGGAN

[subinium]

Progressive Growing of GANs

• Low resolution에서 High resolution을 향해 점진적으로 상향시킴
  • G와 D를 점진적으로 쌓아 올려나가서 균형을 맞추는 것
  • 점진적으로 쌓지만 freeze하지는 않음
  • Smooth한 학습을 위해 fade-in 전달 (이전 레이어 저해상도 이미지를 upsampling하여 선형 결합)
• Large-Scale 구조를 먼저 발견하고, 갈수록 디테일한 attribute를 발견
• 안정적인 훈련, 학습 시간의 단축

Increasing variation using minibatch standard deviation

• GAN은 일반적으로 training data의 부분적인 variation만을 가지고 이미지를 생성
• 이런 문제를 해결하고자 Minibatch Discrimination을 사용 (Improved Techniques for Training GAN 참고)
  • static layer를 마지막에 두는 게 가장 성능이 좋았음 (그 외의 성능향상 없음)

Normalization in generator and discriminator

• 두 네트워크 사이의 escalation of signal magnitude가 일어나기 쉬움
• 그래서 Batch Normalization을 사용
  • covariate shift를 제거하기 위함 (dataset shift는 이 글 참고(link))
  • 하지만 중요한 것은 signal magnitude / competition

그래서 제안된 2가지 방법

Equalized learning rate

• weight를 Gaussian(0, 1)로 initialization
• 그리고 runtime에서 scaling (He's Initialization에서 나오는 normalization constant)
• 원래 Adam 등의 Adaptive stochasitc gradient descent 방식은 scale-invariance를 지님
  • 즉, 모든 파라미터를 효과적으로 학습하기 어려움
  • 하지만 위처럼 runtime에서 normalization하면 모든 파라미터가 같은 dynamic range를 가짐

Pixelwise feature vector normalization in generator

• G와 D의 경쟁으로 magnitudes가 통제되지 않는 상황을 막기 위함
• Conv Layer마다 나오는 각 pixel별 Feature Vector를 단위길이별로 Normalization
• Batch Normalization이 좋지못했으나, 이건 안정적인 결과
• Layer Response Normalization의 변형

Details

• image data range : [-1, 1]
• He initialization
• Adam
• WGAN-GP loss 사용
• 4 days 8 V100

[subinium]

참고자료

• 김태엽님 모두의 연구소 GAN찮아 3기 발표자료
• curt-park님의 블로그
• 물곰's 딥러닝 블로그