机器学习中熵、交叉熵和 KL 散度的介绍 | 拾荒志

[murphypei]

https://murphypei.github.io/blog/2020/09/entrogy-kld.html

我在之前的文章：机器学习中关于熵的一些概念 已经记录了机器学习中一些常见的关于熵的概念，最近看到一篇关于交叉熵和 KL 散度的英文文章，觉得不错，就大概翻译记录一下。