3주차

[sweaterr]

Why approximate inference?

• variational inference: latent variable의 posterior 확률를 근사하는 알고리즘
• likelihood가 conjugate하면 posterior 구하는 것이 쉽지만 대부분 그런경우는 잘 없다.

• Q 패밀리를 너무 크게, 너무 작게 잡아도 안된다.

• p(z)의 posterior에 근접하는 q(z)를 구할때 unnormalize된 p(z)의 KL로 해도 된다.

[sweaterr]

mean field approximation