Flooding

[yumion]

概要

"Do We Need Zero Training Loss After Achieving Zero Training Error?" https://arxiv.org/pdf/2002.08709.pdf

• 正則化手法の1つ
• train_lossに flooding_level のバイアスを加える
• flooding_level は0~0.20まで0.01刻み

segmentation.yaml

    loss:
      functions:
        CategoricalFocalLoss:
            flooding_level: 0.05

segmentation_optuna.yaml

    loss:
        functions:
            DiceLoss:
                flooding_level:
                    - 0.00
                    - 0.20
                    - 0.01

変更点

• 全てのLossクラスにfloodingをwrapしました
• flooding_level=0の時、普通のlossと同じ（はず）
  • 正確にはlossの絶対値が取られますが、lossが負の値じゃないなら問題ないはず

問題点

• lossをwrapする書き方が冗長かもしれません