GANSpace: Discovering Interpretable GAN Controls

[subinium]

• https://arxiv.org/abs/2004.02546
• GANSpace

[subinium]

• latent direction을 뽑기 위한 방법론

StyleGAN ver.

• 초기 p(z)에서 N개 random sampling. z_1, z_2, z_3 ...
• 그리고 mapping network M을 사용하여 w_i = M(z_i)를 생성
• 이를 사용하여 PCA 진행
  • basis라고 생각될 수 있는 transform matrix V를 얻어 낼 수 있음
• w' = w + Vx의 식으로 style vector w'를 만들 수 있음
  • x = {x_1, x_2 ... x_k} 벡터로 각 요소는 개별적인 컨트롤러
• BigGAN에서도 유사하게 사용가능

Thinking

• Layer 별(y~z번째 레이어의 x번째 요소)로 수정을 할 수 있는데, semantic한 느낌은 없는 편. 그 의미를 찾기 위해 노력해야 함.
• 어쩌면 UI만 잘 구성해준다면 재미있는 UI를 만들 수 있지 않을까 생각.
• 다만 별 다른 노력없이 방향을 찾으려는 시도라 base model이 있으면 시도해볼만 한 듯

[subinium]

Reference

• https://www.secmem.org/blog/2021/02/14/gan-interpretable-direction/
• https://www.notion.so/GANSpace-60d4783031d44e16b766c0416ff8714f