Trace and Hat Matrix - Githubissues

Lecture 9: Linear Regression

证明：

矩阵的迹： trace( I - H ) = N - ( d + 1 )

如何理解这个公式的物理意义和矩阵迹的关系？

自由度为 N 的向量，投影到 d + 1 维的空间时，剩下的自由度最多只有 N - ( d + 1 )。

这个矩阵的迹是如何运用在以下公式中的？

$\begin{align*}E_{in}(\mathbf{w}_\mathrm{LIN})=\frac{1}{N}||\mathrm{y}-\mathrm{\hat{y}}||^2&\,=\frac{1}{N}||(\mathbf{I}-\mathbf{H})\textrm{noise}||^2\\&\,=\frac{1}{N}(N-(d+1))||\textrm{noise}||^2\end{align*}$

chAwater / MachineLearningFoundations

Trace and Hat Matrix #5

Lecture 9: Linear Regression