Statistic-study-notes
李航统计学习方法（第二版）的学习笔记，包括：
1、每章重点数学公式的手动推导
均为手写然后扫描成图片，字迹不工整还望谅解，之后有时间会用Latex修正
点击数学公式没有出现图片的情况 需要搭梯子才可以在线预览到数学推导的图片...
- 1.第一章数学公式推导
- 2.第二章数学公式推导
- 3.第三章数学公式推导
- 3.1 无数学推导，偏重算法实现-KNN
- 4.第四章数学公式推导
- 5.第五章数学公式推导
- 5.1 无数学推导，偏重算法实现-决策树
- 6.第六章数学公式推导
- 7.第七章数学公式推导
- 8.第八章数学公式推导
- 9.第九章数学公式推导
- 10.第十章数学公式推导
2、每章算法的Python自实现
第2章 感知机模型（使用Iris数据集）
第3章 KNN模型（线性-使用Iris数据集 与 KD树-有点问题..修改后再上传）
第4章 朴素贝叶斯模型（使用Iris数据集）
第5章 决策树模型（使用Iris数据集）
第6章 逻辑斯提回归模型（使用Iris数据集，采用梯度下降方法）
第6章 最大熵模型(使用Iris数据集)
源代码MyMaxEnt.py
第7章 SVM(使用Iris数据集)
源代码MySVM.py
第8章 AdaBoost(使用Iris数据集)
第9章 EM算法(使用自己随机生成的符合高斯分布的数据)
源代码MyEM.py
第10章 HMM算法(使用人民日报语料库进行训练,对输入的文本进行分词，12.8前完成)
源代码MyHMM.py
3、学习笔记汇总
学习笔记均为自己学习过程中记录在笔记本上然后拍照扫描成pdf
第1章学习笔记
第2章学习笔记
第3章学习笔记
第4章学习笔记
第5章学习笔记
第6章学习笔记
第7章学习笔记
第8章学习笔记
第9章学习笔记
第10章学习笔记
第11章学习笔记
4、每章节的课后习题实现
接下来每周都会定时更新课后习题的实现
1第一章数学公式推导
1.1极大似然估计推导
1.2贝叶斯估计推导
1.3利用Hoeffding推导泛化误差上界
2第二章数学公式推导
2.1算法的收敛性证明Novikoff
3第三章数学公式推导
4第四章数学公式推导
4.1用极大似然法估计朴素贝叶斯参数
4.2用贝叶斯估计法朴素贝叶斯参数
4.3证明后验概率最大化即期望风险最小化
5第五章数学公式推导
6第六章数学公式推导
6.1最大熵模型的数学推导
6.2拉格朗日对偶性问题的数学推导
6.3改进的迭代尺度法数学推导
7第七章数学公式推导
7.1软间隔最大化对偶问题
7.2证明最大间隔分离超平面存在唯一性
8第八章数学公式推导
8.1证明AdaBoost是前向分步加法算法的特例
8.2 证明AdaBoost的训练误差界
9第九章数学公式推导
9.1 EM算法的导出
9.2 用EM算法估计高斯模混合模型
10.第十章数学公式推导
10.1 前向算法两个公式的证明
10.2 维特比算法推导
11.第十一章数学公式推导
11.1 条件随机场的矩阵形式推导
11.2 牛顿法和拟牛顿法的推导
