Binary Cross Entropy的理解

[rentainhe]

参考

• 译文：https://zhuanlan.zhihu.com/p/89391305
• 原文：https://towardsdatascience.com/understanding-binary-cross-entropy-log-loss-a-visual-explanation-a3ac6025181a

问题假设

假设目前有一个二分类问题，有十个点，我们为这十个点分配红色和绿色的标签 我们现在分类的问题转换为：给一个值，预测其为红色或者绿色

损失函数：Binary Cross-Entropy / Log Loss

• 二值交叉熵损失函数或者二值对数损失函数

可视化Loss

根据正负样本，分开所有点

根据样本，拟合一条Logistic Regression回归曲线来进行二分类

对于所有正类，我们分类器给出的预测概率为（相当于模型输出）

对于所有负类，我们分类器给出的预测概率为（相当于模型输出）

放在一起得到的结果如下

这个条形图表示，每个点与自己真实类别对应的概率

使用二值交叉熵/对数损失来评估这个性能（相当于求损失函数）

• 此时我们仅仅需要知道所有点预测的概率，来计算这个二值交叉熵损失函数
• 我们需要对错误的预测进行惩罚，如果预测出的值，越接近真实标签，那么Loss就应该尽可能越小，离真实标签越远，那么Loss就应该尽可能越大

此时采用预测出为真实值的概率的负对数很合适

• 负对数是因为0到1之间的Log为负，我们需要再取一次负，才能得到一个正值的Loss

• 我们最终得到的Loss如下，其中可以看到与真实标签越接近，Loss越小