doublejy715
commented
2 years ago 2. Background
Generative models(GM)은 computer vision에 있어서 많은 발전을 가져다 주었다.
Generative model은 training data ~ 
를 가지고 unsupervised learning을 실시한다. 학습된 model은 training data와 비슷한 생성 분포를 가지게 되고, 새로운 sample data를 생성할 수 있게 된다.
왜 generative model 인가?
- 실제적인 sample을 생성 가능하고
- GM 학습은 latent representation의 간섭을 가능하게 하여 feature 생성기로 사용 가능하다.
- unsupervised learning의 density estimation problem문제 해결
- 사람의 감독&간섭 없이 훈련을 통해 새로운 데이터를 생성함으로서 위 문제를 해결하였음.
2.1 Autoencoder(AE)
- Autoencoder는 high dimensionality data를 함축된 small dimensionality data로 줄여주는 generative model이다.
- AE는 encoder와 decoder 네트워크로 분류된다.
- encoder : input data를 받으면 layers를 거쳐 small dimension로 함축된다.
- decoder : bottleneck을 가지고 input data의 reconstruction을 시도한다.
- AE는 input과 output간 픽셀값 간의 차이를 통해 loss를 계산한다.
수식 :
simple architecture AE
2.2 Variational Autoencoder(VAE)
- Variational Autoencoder(VAE)는 likelihood 기반 generative model로 널리 알려져 있다.
- VAE는 확률분포적인 encoder / decoder network를 가진다.
- encoder : input data를 encoder를 통하여
AE vs VAE
- AE : input data를 잠재 공간 z에 대응시켜 벡터 값을 저장한다.
- VAE : 확률 분포를 저장하여 (평균, 분산) 파라미터를 생성한다.(확률 분포를 생성) AE vs VAE 차이의 이해 AE vs VAE 차이의 이해 2
Abstract
Generative Adversarial Networks(GAN)은 데이터 생성에서 뛰어난 모습을 보이고 있다. 많은 영역에서 쓰이고 있지만 여전히 안정적인 학습에는 어려움이 따른다. 문제점으로는 Nash-equilibrium, internal covariate shift, mode collapse, vanishing gradient, evaluation metrics의 부족 등이 있다. 본 survey에서는 GAN학습을 안정하게 하기 위한 training solution을 몇 가지 소개한다.
Keyworkds - GAN, Variants, Applications, Training
1. Introduction
Generative Adversarial Networks(GAN)
Generative Adversarial Networks(GAN)은 최근 unsupervised learning 방식으로 학습하여 뛰어난 결과를 내는 generatvie model로 언급된다. GAN은 대부분 semi-supervised 과 unsupervised learning 으로 학습한다. GAN takes a supervised learning approach to do unsupervised learning by generating fake or synthetic looking data.
GAN은 generator network(G)과 discriminator network(D)를 동시에 학습한다. D는 input data가 real / fake를 판단하는 binary classifier를 학습한다. 반대로 G는 D가 실제 데이터처럼 착각하도록 데이터를 생성하도록 학습한다.
GAN의 이용
GAN은 많은 영역에서 이용된다.hand-written font generation, anime characters generation, image blending, image in-painting, face agiing, text synthesis, human pose synthesis, stenographic applications, image manipulation applications, visual saliency prediction, object detection, 3D image synthesis, medical applications, facial makeup transfer, facial landmark dectection, image super-resolution, texture synthesis, sketch synthesis, image-to-image translation, face frontal view generation, language and speech syntehsis, music generation, video applications
GAN가 가진 문제들
GAN을 통해서 매우 실제적인 sample을 얻을 수 있지만, 여전히 GAN을 안정적으로 학습하는 것은 어려운 일이다. 그 이유는 G와 D는 alternating gradient descent(Alt-GD)이나 simultaneous gradient descent(Sim-GD)를 통해서 최적화 되기 때문이다.
GAN의 구조는 shortcomings, Nash-equilibrium, internal covariate shift, mode collapse, vanishing gradient, and lack of proper evaluation metrics 문제를 가지고 있다.
이 문제들을 해결하기 위해서 feature matching, unrolled GAN, mini-batch discrimination, historical averaging, two time-scale update rule, hybridmodel, self-attention GAN, relativistic GAN, label-smoothing, sampling GAN, proper optimizer, normalization techniques, add noise to inputs, using labels, alternative loss fuctions, gradient penalty, and cycle-consistency loss 방법들이 소개된다.
1.1 Structure of this survey
Table 1
Table 3