Variational Autoencoders for Collaborative Filtering

[JisuHann]

Variational Autoencoders for Collaborative Filtering

• 연결논문
  • Stochastic Backpropagation and Approximate Inference in Deep Generative Models

    용어 정리

• Variational Autoencoder: 데이터의 확률분포를 학습하기 위해 latent variable z를 생성하는 Autoencoder 모델
• Multinomial variable다항 변수: binomial distribution이항 분포에서 확장하여 여러 개의 class 중 분류하는 문제
• Bayesian inference베이즈 추론: 추론 대상의 사전 확률(p(\theta))와 관계된 관측 X의 확률 분포를 통해 해당 대상의 사후 확률(p(\theta | X))를 구하기는 과정
• Collaborative filtering: similarity pattern -> 뭘 이용할지 predict

Introduction

• Recommender Systems 기존의 방식
  • Collaborative Filtering: inherently linear, limits their modeling capacity >> explore non-linear probabilistic latent-variable model
  • Top-N ranking loss: difficult to optimize directly

Neural Generative model with multinomial likelihood and use Bayesian inference for parameter estimation

추천시스템은 처음이라 그런지 낯설다. 여러번 봐서 눈에 익혀야겠다.

[JisuHann]

Method

1. Model

• Generative Process Deep latent Gaussian Model -> Multinomial likelihood

2. Variational Inference

to estimate \theta, need to approximate the intractable posterior distribution p(z_u|x_u) -> Use Variational inference

• Amortized inference and the variational autoencoder : replace individual variational parameters with a data-dependent function(inference model)
• Alternative interpretation of ELBO : ELBO(the evidence lower bound) 의 수식을 통해 loss를 최소화 -> KL term의 trade-off를 조절하기 위해 파라미터 beta 도입: KL annealing

Multi-VAE : multinomial likelihood 기반의 partially regularized 된 VAE

3. A taxonomy of autoencoders

일반 AutoEncoder와 Denoising Autoencoder, Variational Autoencoder와 이번에 기술된 Multinomial VAE, DAE 비교

DAE는 AE에서 dropout을 적용하여 overfitting을 방지하였는데, Multi-VAE에 이어 DAE를 적용하여 Multinomial Likelihood기반의 DAE인 Mult-DAE 도 있다.