高斯分布与边缘化 - 赵宇的博客 | Jerry Zhao Blog

[aipiano]

https://aipiano.github.io/2019/01/09/%E9%AB%98%E6%96%AF%E5%88%86%E5%B8%83%E4%B8%8E%E8%BE%B9%E7%BC%98%E5%8C%96/

A place to share science, ideas and life.

[CuriousCat-7]

太感谢了，简直是保姆级解释。我一直在推导Hessian矩阵和高斯分布边缘化的关系。这里是写的最好的！！！ 顺便问一下作者，能不能详细推导一下 “称H为信息矩阵 $\Omega \Delta x$ 为信息向量” 的缘由呢？

[aipiano]

@CuriousCat-7 太感谢了，简直是保姆级解释。我一直在推导Hessian矩阵和高斯分布边缘化的关系。这里是写的最好的！！！ 顺便问一下作者，能不能详细推导一下 “称H为信息矩阵 $\Omega \Delta x$ 为信息向量” 的缘由呢？

很高兴能帮到你。 $\Omega \Delta x$是信息矩阵，等号右边的才是信息向量。要求的$\Delta x$实际上可以看做是高斯分布的均值。对于一个线性系统而言，最小二乘的解就是就是均值，非线性优化其实就是不断在线性点处求均值。以上是我的个人理解。

[CuriousCat-7]

@aipiano

@CuriousCat-7 太感谢了，简直是保姆级解释。我一直在推导Hessian矩阵和高斯分布边缘化的关系。这里是写的最好的！！！ 顺便问一下作者，能不能详细推导一下 “称H为信息矩阵 $\Omega \Delta x$ 为信息向量” 的缘由呢？

很高兴能帮到你。 $\Omega \Delta x$是信息矩阵，等号右边的才是信息向量。要求的$\Delta x$实际上可以看做是高斯分布的均值。对于一个线性系统而言，最小二乘的解就是就是均值，非线性优化其实就是不断在线性点处求均值。以上是我的个人理解。

多谢解答~ 但我感觉$\Delta x$ 不能看成均值，而是应该看成随机变量。 我的推导是 $\Delta x = x - x_0$ ; 因为x是随机变量而 $x_0$ 是常数， 所以 $\Delta x$ 可以表示为随机变量，并且被雅克比矩阵修饰了。接下来展开 $||J\Delta x - b||^2$ 并扔掉常数项（常数项吸收到归一化常数里），我们会发现H和 $\psi$ 正好是随机变量$\Delta x$ 的信息矩阵和信息向量。 但感觉我的推导比较啰嗦。。。

不过直接将$\Delta x$ 看成均值（或者说要使其等于概率分布的均值）确实直观了很多！

[GehouK]

您好，请问这里提到的信息矩阵与费歇尔信息矩阵有关联嘛，网上看到有些博客是从费歇尔信息量的角度来分析的....