Bayeisan Neural Network

[JisuHann]

• Stochastic/Random Process(확률 과정): 확률론에서 시간의 진행에 대해 확률적인 변화를 가지는 Random Variable의 집합

Bayesian Neural Network

• weight를 Probabilistic distribution으로 표현함으로써 uncertainty를 estimate할 수 있는 모델
• Bayesian Inference 에서 Gaussian Process를 통한 BNN 유도 -> Dropout의 적용만으로 Gaussian process의 Bayesian inference를 근사할 수 있다.
• Dropout as a Bayesian Approximation paper, Bayesian Learning for Neural Networks paper
  1. weight의 (Variational Inference를 통한 loss function) 과 (Dropout의 Loss function)이 일치
     • Hidden node가 무한히 많은 3층 Neural network의 경우, weight의 prior distribution을 적절히 조절하면 Gaussian process에 수렴하다.
     • L{MC}(theta) 와 L{dropout} (M1, M2, b)가 유사하다. (Regularization term인 KLD와 L2 Weight decay를 맞추면 동일)
     • Bernoulli dropout 만으로 Gaussian Process의 integration over weight space을 근사할 수 있다.
     • Dropout + NN이 곧 BNN이다
  2. i를 통해 어떻게 Uncertainty를 어떻게 구하는가?
     • predictive mean/variance 구하기
     • Variance를 통한 uncertainty 구현 (variance가 높으면 uncertainty가 높다 = 심하게 날뛴다는 뜻이므로 uncertainty가 높다)
  3. Reinforcement Learning에 연결, exploit에 연결된다.

Bayesian probability(베이지안 확률)

정보를 업데이트하면서 사후 확률 P(H|D)를 구하는 것이 목표

• P(H) 사전확률(Prior probability): 결과가 나타나기전에 결정된 원인H의 확률
• P(D|H) 우도확률(likelihood probability): 원인H가 발생했다는 조건 하에 D가 발생할 확률
• P(H|D) 사후확률(Posterior probability):결과D가 발생했다는 조건 하에 원인H가 발생하였을 확률

Bayesian Inference

• 통계적 추론의 한 방법으로 사전확률 P(H)와 추가적인 정보를 통해 사후확률 P(H|D)를 추론하는 방법
• 추론대상 theta에 대해 사전확률 p(theta)와 우도확률 p(X|theta)를 통해 사후확률p(theta|X) -> 관측하지 않은 새로운 자료 x^*에 대한 확률 분포는 다음과 같이 추정된다. 를 통해

Gaussian/Normal Distribution (가우시안/정규 분포)

Gaussian Process

• Stochastic Process의 한 예시, Stochastic process that every finite collection of those random variables has a multivariate normal distribution(다변량 정규 분포) -> 다변량 정규분포를 무한 차원으로 확장시키는 개념

Gaussian Process를 통한 Bayesian Neural Network를 유도하게 된다.

Gaussian/Normal Distribution

• Standard Normal Distribution (표준 정규분포): N(0,1)
• Multivariate Normal Distribution (다변량 정규분포): 정규분포를 다차원 공간에 대해 확장한 분포

Gaussian Process

• Stochastic Process의 한 예시, Stochastic process that every finite collection of those random variables has a multivariate normal distribution(다변량 정규 분포) -> 다변량 정규분포를 무한 차원으로 확장시키는 개념

Gaussian Process를 통한 Bayesian Neural Network를 유도하게 된다.

Bernoulli distribution (베르누이 분포)

Variational Inference(VI, 변분추론)

• 사후분포 p(H|D)를 다루기 쉬운 확률분포 q(z)로 근사하기 (사후확률 분포를 계산하기 어려우므로)
• VAE(Variational Auto-Encoder)와 연결

  KL Divergence

• q(z)와 p(H|D)의 idifference를 measure ->최소화 => ELBO로 연결