[7] pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis

[hyoseok1223]

Links

• Project Page : https://marcoamonteiro.github.io/pi-GAN-website/
• Paper : https://arxiv.org/pdf/2012.00926.pdf
• Github : https://github.com/marcoamonteiro/pi-GAN

한 줄 요약

• Implicit Neural Representation을 활용한 3d aware gan의 근간이 되는 논문
• StyleGAN2 + NeRF를 사용하며 기존의 Positional Encoding이 해주는 역할을 Implicit Neural Representation에서 activation function을 sin function으로 바꿔 같은 역할을 할 수 있다는 Implicit Neural Representations with Periodic Activation Functions를 활용해 3d aware gan의 일반적이고 안정적인 구조를 잡은 논문

선택 이유

• 3d aware gan쪽으로 관심이 생겨서 공부하고 있음
• NeRF와 GAN이 결합되어서 어떤 방식으로 사용되고 있는지 공유하면 좋을 것 같았음.

[hyoseok1223]

[Review Link] https://hyoseok-personality.tistory.com/entry/Paper-Review-pi-GAN-Periodic-Implicit-Generative-Adversarial-Networks-for-3D

[Summary]

StyleGAN + NeRF, NeRF를 generator로 사용해 implicit neural genration을 하게함으로써 3d aware한 이미지를 생성해내는 모델을 설계. SIREN, FILM등 optimization을 위해 다른 추가적인 방법들을 함께 제시하지만, 가장 중요한 것은 3d aware gan에서 nerf와 gan을 같이 사용하는 안정적인 네트워크 구조의 근간을 제대로 제시했다는 점에 있다고 생각.

[Contribution]

pi-GAN을 시작으로 꾸준히 StyleGAN family와 NeRF를 합치면서 더 좋은 네트워크 구조를 설계해 꾸준히 개선해나가고 있다는 점을 볼 때 3d aware gan에서의 근간에 가까운 논문이고 연구의 지속적 방향성을 제시한 근본적인 논문으로써 중요한 역할을 가진다고 생각함.

[Comment]

다만, 추후 연구들에서 사용하지 않는 SIREN, FILM 등 논문을 붙이기 위한(?)에 가까운 방법들이 많아 아쉬웠음. 이미 충분히 큰 틀을 잡는데 좋은 논문이지만, 좀 더 이러한 부분을 강조해줬다면 좋았을 것 같음. ( 네트워크 구조도 siren, film에 맞춘다기 보다 전체적인 3d aware gan에 대한 것을 제시해준다거나 )