search

CaesarZZP / concept

记性太差，需要辅助
0 stars 0 forks source link

熵问题 #2

Open CaesarZZP opened 6 years ago

CaesarZZP commented 6 years ago

自信息（self-information）： I(x)= - sum( p(x)*log(p(x)) ) （1）

信息熵是自信息的期望值

条件熵

信息增益（互信息量） 我们用另一个变量对原变量分类后，原变量的不确定性就会减小了，因为新增了Y的信息，可以感受一下。不确定程度减少了多少就是信息的增益。

CaesarZZP commented 6 years ago

2018-09-08_110505 http://www.cnblogs.com/kyrieng/p/8694705.html