Decision Tree

[ysh329]

1. 做过的机器学习项目细节清楚；
2. 经典和前沿的机器学习知识有了解。

---

1. 理论基础；
2. 工程能力；
3. 业务理解。

XGBoost由浅入深考察

理论基础

1. GBDT原理；
2. 决策树节点分裂时如何选择特征；
   1. 写出gini index、information gain公式;
   2. 举例；
3. 分类树和回归树的区别；
4. XBGoost与Random Forest作比较；
5. 基于上个问题，介绍模型的bias与variance；

工程能力

1. XGBoost调参经验；
2. XGBoost的正则化实现；
3. XGBoost的并行化部分的实现。

CNN由浅入深考察

1. LR推导；
2. 梯度消失；
3. 激活函数；
4. TensorFlow调参经验。

其它

1. RNN
2. 聚类：K均值，DBSCAN
3. 模型评估；
4. GAN；
5. LSTM；
6. online learning。

[ysh329]

gbdt原理(非常重要)_图文_百度文库 https://wenku.baidu.com/view/f3da60b4951ea76e58fafab069dc5022aaea463e.html

[ysh329]

GBDT算法原理深入解析_图文_百度文库 https://wenku.baidu.com/view/4d008fa7b8f3f90f76c66137ee06eff9aef84923.html?rec_flag=default&sxts=1545006778033

[ysh329]

GBDT 算法：原理篇 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/article/1005611

[ysh329]

内容

泰勒公式

梯度下降法

牛顿法

从参数空间到函数空间

从gradient descent到gradient boosting

从Newton'method到Newton's boosting

小结

[ysh329]

Gradient Boosting Tree算法原理

---

[ysh329]

Newton Boosting Tree算法原理：详解XGBoost

---

模型函数形式

---

目标函数

正则项

---

误差函数的二阶泰勒展开

---

---

[ysh329]

回归树的学习策略

XGBoost的打分函数

树节点分裂方法（Split Finding）

---

---

---

[ysh329]

缺失值的处理

[ysh329]

XGBoost其它特性

更高效的LightGBM

LightGBM相比XGBoost的改进

参考