关于paper的一些疑问。

[YvanZh]

拜读了您的论文，有一点疑惑还请不吝赐教。才疏学浅尚在求学，如有纰漏万望海涵！

• 关于平均场理论。Q(Y)估计的是联合概率密度，而对于每一个Qi(yi),其与真实的边缘概率密度Pi(yi)的差别可能是很大的。不应该用Qi(yi)来估计真实的边缘密度，就像在一个贝叶斯网络中，你不应该用它来推测某个节点的状态。 比如一个标准的高斯联合分布P(μ,x)和最优的平均场高斯估计Q(μ,x)。Q选择了在它自己作用域中的高斯分布，因而变得很窄。此时边缘密度Qx(x)变得非常小，完全与Px(x)不同。

[yil8]

@YvanZh 你好，mean-field的假设是说P(Y)太复杂，用另一个Q(Y)来近似，这个Q(Y)有个比较好的性质就是Q(Y) = prod_{i=1}^N Q(y_i)，换言之Q(Y)关于y_i的marginal就是Q(y_i)。那么Q(Y)的值该怎么取，就是靠最小化KL(Q||P)来决定，这样就能导出mean-field每一步的算法，即对y_i相邻的yj求expectation，再normalize。至于Q(Y)能近似到P(Y)什么程度就取决于P(Y)符合这个Q(Y) = prod{i=1}^N Q(y_i)假设的程度有多强。对于你画的这个图，我觉得正确的画法更可能大概是这样的： P(Y)的off-diagonal term 不为0，但是Q(Y)在Gaussian这个特定的假设下off-diagonal term为0，所以大概就是我图里画的样子。至于Q(Y)具体该什么样子，取决于KL(Q||P)最小化到什么程度。

[YvanZh]

明白了，是我理解有误。感谢您百忙之中回复！