Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift

[namakemono]

Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift https://arxiv.org/abs/1906.02530 データの傾向が変わった場合に，どの程度性能が低下するのか調査した論文． 結論としては，

• モデルの予測値がどの程度信頼できるかの指標としてBrier Scoreを利用することを提案．
• データの傾向が変わるとキャリブレーションは無意味
• 劣化を軽減するには，モデルのアンサンブルが有用 最近だと，他施設だとX線から肺結節の検出する性能が著しく低下していた事例などもあったので，実用化を考えるなら重要． (cf. https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1002683)