Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

[chullhwan-song]

https://arxiv.org/abs/1511.06434 https://hyeongminlee.github.io/post/gan003_dcgan/ https://github.com/HyeongminLEE/Tensorflow_DCGAN http://jaejunyoo.blogspot.com/2017/02/deep-convolutional-gan-dcgan-1.html

[chullhwan-song]

What?

• 먼저 개인적으로 이런 논문 좋다. 쓸말만 써있다.
• DCGAN
• 제목 그대로 CNN을 GAN에 적용하였음.
• 그동안 CNN은 supervised learning에서는 비교적 효과적인 성능을 보였지만, unsupervised learning에서는 그렇지 못했다. 이 논문은 unsupervised learning에서도 CNN이 잘 수행함을 보임.
• 참고로 CNN이 이논문에서, 처음으로 적용된 논문은 아니었던듯.. 다만 이 논문은 이전의 논문보다 앞에서 언급했듯이 CNN이 GAN에 잘 working하는 모습을 보여줌.
• 이 당시 이전의 논문보다 좋은 quality를 보여줌.

INTRODUCTION

• contribution
  • We propose and evaluate a set of constraints on the architectural topology of Convolutional GANs that make them stable to train in most settings. We name this class of architectures Deep Convolutional GANs (DCGAN) > GAN은 학습이 어렵다. 하지만 DCGAN에서는 이러한 문제를 어느정도 해결한 안정적인 학습을 제공
  • We use the trained discriminators for image classification tasks, showing competitive performance with other unsupervised algorithms. > 앞에서 언급한거와 같이, unsupervised learning에서도 CNN이 잘 수행함을 보임.
  • We visualize the filters learnt by GANs and empirically show that specific filters have learned to draw specific objects. > CNN은 일종의 Black Box같은 느낌어었는데, 이 논문에서는 CNN이 어느 정도 해석가능한 모습, 특정 filter가 어떻게 학습되는지 visualization할수 있음을 보여줌.
  • We show that the generators have interesting vector arithmetic properties allowing for easy manipulation of many semantic qualities of generated samples. > 수식적 속성(+, -)이용하여 마치 word2vec같이 보여줄수 있음.

APPROACH AND MODEL ARCHITECTURE

• fractional-strided convolutions 의 의미는 dilated conv (또는 atrous conv)를 의미
  • 이는 연산을 통해 커지는 효과를 볼수 있음, tf도 존재

generator 구조

• 개인적으로 이 그림보다, 아래 그림이..

  Discriminator 구조

  

실험