参数模型/非参数模型

[junxnone]

Reference

Brief

• 参数模型(Parametric Model) - 假设总体服从某个分布，这个分布可以由一些参数确定
  • 如正态分布由均值和标准差确定, 在此基础上构建的模型称为参数模型
• 非参数模型(Non-Parametric Model) - 对于总体的分布不做任何假设或者说是数据分布假设自由
• 参数模型和非参数模型中的“参数”并不是模型中的参数，而是是否指定了具体的函数形式

---

模型	参数模型	非参数模型
模型参数	模型参数数目有限	模型参数数目很多
目标函数	指定目标函数	目标函数不做过多假设
Examples	逻辑回归(logistic regression) 线性成分分析(linear regression) 感知机(perceptron)	决策树 朴素贝叶斯 支持向量机 神经网络
优点	容易理解和解释结果 学习和训练的速度都很快 不需要大量的数据	可以拟合许多不同的函数形式 对于训练样本数据具有良好的拟合性
缺点	以指定的函数形式来指定学习方式 应对简单的问题 容易出现欠拟合	需要较多训练数据 训练过程比较慢 容易过拟合，可解释性不高

Gaussian process 是非参数模型, 因为它参数估计没有完全确定模型