label smoothingによるcalibration

[shinmura0]

全体的にconfidenceが低すぎる、もしくは高すぎる場合、ソフトマックスの 分類問題のケースだと、温度パラメータとlabel smoothingがcalibrationに 有効とのこと。 https://arxiv.org/abs/1906.02629

図は、CIFAR100の例。label smoothing （alpha=0.05）を使うと accuracy と confidenceが見事に相関する（青→緑へ改善）。

BCEの場合でも、label smoothingを使うとcalibration効果があるかも。 これにより、閾値をクラスごとに最適化させる必要がなくなるかも。

[shinmura0]

false positiveを抑える効果があった。