PaPaPaPatrick
commented
5 months ago 第八章：集成学习 1、是利用不同的较弱（不太复杂）的学习器组合成更复杂的学习器，以提高输出的精度； 2、Boosting：基学习器是相互依存，串行学习，在每次迭代的过程中，实际上都改变了基学习器及数据的分布（或者说是权重），然后不断的循环迭代，在学习过程中更推荐用重采样的方式去学习； 3、Bagging与随机森林：把数据划分成不同的组，并行计算，随机森林不仅数据变化在决策树生成的时候都使用随机的一个属性来增加随机性； 4、组合策略：均值、加权、投票、学习等方法； 5、多样性：最重点的内容，如何设计Loss让模型有更好的多样性，定性定量的分析，以及在数据的处理和训练策略上的选择！
第七章：贝叶斯分类器 1、是一种生成式学习的方法，是从数据中学习建立条件概率分布的过程； 2、极大似然分布MLE的基础假设是所有的属性或者特征是概率同分布，然后去最大化参数估计的过程，取对数是为了防止惩罚的溢出和变成0的现象； 3、朴素贝叶斯分类器是建立了联合分布模型，但是假设所有的属性或者特征都是独立同分布的，重点要注意一下数据的处理问题； 4、半朴素贝叶斯分类器：假设只和一个条件强相关，根据不同的相关方式有不同的分类器结构，相关性是通过条件互信息计算得到； 5、贝叶斯网：先要搜索网络结构再去优化参数，其搜索优化过程的建模是信息论准则，通过评判参数多少等因素来评判网络； 6、EM:先算期望再迭代优化，直至收敛至局部最优解；