[56] NICE: Non-linear Independent Components Estimation

[long8v]

paper, code

TL;DR

• task : representation learning / generative model
• problem : 데이터의 중요한 분포를 잘 설명하는 representation을 만들고 싶은데, 좋은 representation이란 모델링하기 쉬워야 하고, factorize 가능 해야한다.
• idea : change of variable rule을 사용하여 어떤 transformation h=f(x)를 역함수 x=f^(-1)(h)로 만들어서 데이터 x를 표현해보도록 하자
• architecture : hidden layer를 반갈 하고 첫번째 반을 mlp, 나머지 반은 mlp한 첫번째 반과 바로 합, 이런 변환을 additive coupling layer라고 하고 이 mlp 하는 반을 레이어마다 번갈아가면서 함.
• objective : log-likelihood
• baseline : Deep MFA, GRBM
• data : MNIST, Toronto Face Dataset(TFD), Street View House Numbers dataset(SVHN), CIFAR-10
• result : 높은 likelihood. h 샘플 뽑고 inverse 함수에 넣으면 생성은 됨.
• contribution : flow based model들 중 선행연구인듯
• limitation or 이해 안되는 부분 :

Details

notion