codershenghai / shenghaishxt.github.io

My Blog
1 stars 0 forks source link

决策树 | shenghai's blog | shxt #52

Open codershenghai opened 5 years ago

codershenghai commented 5 years ago

http://www.zhangshenghai.com/posts/51507/

决策树模型通常包括3个步骤: 特征选择 决策树的生成 决策树的修剪 特征选择特征选择在于选取对训练数据具有分类能力的特征,这样可以提高决策树学习的效率。通常特征选择的准则是信息增益或信息增益比。 信息增益熵表示随机变量不确定性的度量。设$X$是一个取有限个值的离散随机变量,其概率分布为 \begin{align} P \left( X = x{i} \right) = p{i}, \qu