A Style-Based Generator Architecture for Generative Adversarial Networks

[subinium]

• https://arxiv.org/abs/1812.04948
• StyleGAN

[subinium]

Style-Based Generator

• Scale-specific control 가능
• Stochastic variation으로 디테일한 차이 가능
• GAN의 생성 퀄리티 metric 제시 : (1) Perceptual path length (2) Linear Separability

Mapping Network

• 기존 방법론 latent vector z를 image로 생성
• StyleGAN은 intermediate latent vector w(1x512)를 만들어 이를 feature(attribute)로 사용
• const vector(4x4x512)에서 PGGAN처럼 점진적으로 큰 이미지를 만드는데
  • const는 훈련 시에는 gradient 계산, test에는 고정
• 이때 생성 과정에서 AdaIN으로 feature 전달 (Style Transfer 등에서 사용)

Disentanglement

• 기존 z는 실제 데이터의 distribtion에 visual attribute를 non-linaer하게 매핑
• 그래서 조정하는 게 상당히 어렵
• w는 기존 데이터처럼 고정된 distribution을 따를 필요가 없기에 더 유동적

ETC

Style Mixing

• Mixing Regularization : w간의 독립성을 위해 사용되는 방법 (correlate 방지)
  • z1, z2에서 w1, w2를 생성
  • style layer에서 w1 대입하다가 w2로 대입
  • 교체되는 layer는 랜덤하게 선택
  • 이렇게 하면 연속된 layer 간의 style correlate를 방지
  • Dropout의 역할
• 이러면 layer별 변하는 정도를 확인할 수 있다.
• 역시 correlate 방지는 random을 어떻게 사용하느냐가 관건!

Stochastic Variation

• Style Mixing에서는 할 수 없는 차이
• 항상 같은 결과가 아닌 디테일한 차이를 입력 노이즈로 조정
• AdaIN layer 등을 포함한 Synthesis Network 사이에 Random Noise 추가

Metric (TBD)

[subinium]

참고자료

• Rani Horev Blog
• Lunit Tech Blog : StyleGAN
• PR12-정지원님 발표
• 고재영님 정리글 1, 2