@丕子 PCA, SVD 阐述最本质原理的文章？ 比特征值和特征向量更低层的？

[haoawesome]

PCA, SVD(其他low rank*), LDA（Topic Model）， K-means， Sparse Coding，Hidden Layer of Neural Network。。。等等这一大类问题应该都可以用一套理论来解释其几何意义，与向量空间、矩阵、特征值和特征向量有关的，有阐述最本质原理的文章？ 比特征值和特征向量更低层的？@好东西传送门 http://www.weibo.com/1665335994/BuGdVDyhN

[haoawesome]

@yangjiera：有限的知识: PCA即SVD, LDA为multinomial PCA. KMeans等价于正交NMF.

@SolarLee：这三个问题本源都是找到问题的一组基，用于支撑该领域的问题，这组基越少越好，最好正交，就形成了稀疏性！

@Aitmr中文网：我一直觉得dictionary learning，Sparse Coding和Auto-encoder（Hidden Layer of Neural Network）有很强的联系，或者可以一起解释，只是训练的方法不一样。

@Aitmr中文网：M. Elad 的K-SVD算法中结识了K-means和Sparse Coding之间的关系.

@累觉不爱的霍比特：可以加上NMF吗？

@LDL_BIT：我最近也觉得word2vec、LDA主题模型也有些内在的关系，比如两种模型都假设观察到的数据点具有若干个潜在的因子，latent factor。不知道大牛有研究这个的不？

@旅行者不说再见：Gilbert Strang (1993): "The fundamental theorem of linear algebra"，我认为对SVD的解释最为清晰本质。

@StarchiWang：可以用3维例子画出列向量会很直观 然后一步步的推过去…

@winsty：回复@丕子:我能想到的就是各种标准不同的降维

[haoawesome]

@星空下的巫师：通俗来说，真的就是搞基（正交基、聚类中心、字典、滤波器组等等），CNN、GMM、HMM也都类似，Linear Models应该是其中的根本。PS：如果Sam Roweis还活着，他肯定能给出最好的答案~

@老师木：这里面sparse coding是例外，nonlinear coding

@求学张_：NMF, K-means, PLSA的联系请看chris ding的一系列文章

@睡眼惺忪的小叶先森：本征值，本征向量背后有一套完整的谱理论。我看过的一本书，是从弹簧震动稳定性切入。希望可以把LSH也统一进来。

@biggt：这些模型都是数学在不同领域的变形应用/

@哆啦啊胖：还可以加上PPCA，FA，ICA，autoencoder等，本质都是假设数据分布是低维的隐因子决定，优化目标是降维再还原信息丢失最少，特征向量是最优化求解算法。

@Pintor_UpintheAir：@我的印象笔记 都是dimension reduction的问题？check Art Owen

@丕子：从物理意义上来看，sparse coding也是找basis的吧。假设在同一个向量子空间，x是这些basic的线性组合，那么就是linear的吧？ 或许这些basis可以来自不同的向量空间和linear subspace。

@尹珺Cherry_Potter：Linear encoder/decoder with squared reconstruction error learns same subspace of PCA. Sigmoid encoder/decoder gives same form p(h|x )&p(x |h) as RBMs

@Great_Brave：可以去读一下Ravi kanan的foundation of data science里面第三章关于svd内容，这其中几种之间的联系会明了很多。

@Eta_Li：nonlinear了就不容易用线性代数的理论解释

[haoawesome]

@丕子 开启的讨论：PCA, SVD 阐述最本质原理的文章？ 比特征值和特征向量更低层的？各路高手纷纷表达了自己的意见，汇总在这里（issue 318） http://t.cn/R7TfwMN 也见长微博 http://www.weibo.com/5220650532/BvbkQnH41