search

hooozen / hooozen.github.io

Personal Pages of Hozen
https://hozen.site
0 stars 0 forks source link

熵与信息量 | 李浩然的博客 #54

Open hooozen opened 3 years ago

hooozen commented 3 years ago

https://www.hozen.site/archives/42/

本文主要结合公式和定义解释了信息熵（Entropy）和信息量（Quantities of information）的含义和联系.

Ask-Yang commented 1 year ago

对于不等概率的信息量计算补充一点：选项B的概率是1/4，那么可以将选项B看成某个概率都是1/4的4事件集合中的一个，就把它转化成等概率事件，此时选项B的信息量为log1/p=log4=2。写的很好，看得很爽，赞一个。

hooozen commented 1 year ago

@Zer0-Yang 对于不等概率的信息量计算补充一点：选项B的概率是1/4，那么可以将选项B看成某个概率都是1/4的4事件集合中的一个，就把它转化成等概率事件，此时选项B的信息量为log1/p=log4=2。写的很好，看得很爽，赞一个。

非常感谢得到你的认可！