search

szcf-weiya / ESL-CN

The Elements of Statistical Learning (ESL)的中文翻译、代码实现及其习题解答。
https://esl.hohoweiya.xyz
GNU General Public License v3.0
2.43k stars 594 forks source link

Ex. 5.16 #164

Closed szcf-weiya closed 4 years ago

szcf-weiya commented 5 years ago

image

image

szcf-weiya commented 5 years ago

Ex5 16update 1

smileformylove commented 4 years ago

您好！我认为N>M的主要影响就是这个核的特征值或者特征函数不能完整的表示$hn(x)$的空间维度，这样第一问中的V和$D\gamma$形式需要变化。但是对于b和c由于H是N*M的，所以没有影响。不知道我这样的理解对不对？

szcf-weiya commented 4 years ago

您好！我认为N>M的主要影响就是这个核的特征值或者特征函数不能完整的表示$hn(x)$的空间维度，这样第一问中的V和$D\gamma$形式需要变化。但是对于c和d由于H是N*M的，所以没有影响。不知道我这样的理解对不对？

@smileformylove 谢谢你的评论！可以详细写写吗？

smileformylove commented 4 years ago

不好意思回复晚啦:( 我写的是下面的这个，不知道对不对。

comment

szcf-weiya commented 4 years ago

不好意思回复晚啦:( 我写的是下面的这个，不知道对不对。

comment

感觉有点问题，如果你的 \Phi 是 M by 1, 为什么会存在 inverse 呢？

szcf-weiya commented 4 years ago

@smileformylove 我再想了想，感觉 M > N 与 M < N 并不会有什么影响，因为 Kernel 给定的，也就是它的特征值和特征函数就一开始定了，（非零的特征值）就是 M 个。

所以我现在猜测它可能跟 computational cost 有关，因为原文也提到需要 O(N^3) 的计算量（主要是 inverse of matrix），而如果 M < N，实际上可以将矩阵逆运算降至 O(M^3)。解答已更新。

欢迎继续讨论～

Ericonaldo commented 4 years ago

第一题的解答第一行是怎么直接变成有限维的呀？

szcf-weiya commented 4 years ago

第一题的解答第一行是怎么直接变成有限维的呀？

因为题中的条件是有限维的，第一行的式子我是想表达 \gamma_i = 0 for i > M.

Ericonaldo commented 4 years ago

Sounds Good. Thanks!