Flooding Trick

[zc12345]

Do We Need Zero Training Loss After Achieving Zero Training Error?

2002.08709

思路

• train loss 并不是越小越好，降到很低之后val loss反而增加
• 解决方法
  • 假设原来的损失函数是 $L(θ)$ ，现在改为 $\tilde{L}(\theta)$ , $\tilde{L}(\theta)=|L(\theta) - b|+b$
  • 其中 $b$ 是预先设定的阈值
  • 当 $L(θ) > b$ 时， $\tilde{L}(\theta)=L(θ)$ ，这时候就是执行普通的梯度下降
  • 而 $L(θ) < b$ 时， $\tilde{L}(\theta)=2b−L(θ)$ ，注意到损失函数变号了，所以这时候是梯度上升
  • 总的来说就是以b为阈值，低于阈值时反而希望损失函数变大。论文把这个改动称为“Flooding”。

实现

code

outputs = model(inputs) 
loss = criterion(outputs, labels) 
flood = (loss-b).abs()+b # This is it! 
optimizer.zero_grad() 
flood.backward() 
optimizer.step()

b值选取

• 论文原文：穷举法 In practice, we can search for the optimal flood level by performing the exhaustive search in parallel.
• 一些实践 ^ref1：通常来说b值需要设置成比"Validation Error 开始上升"的值更小，1/2处甚至更小，结果更优
• 扩展^ref2：Flooding-X让模型自行学习flood level($b$值)，在两个不同batch下梯度一致的时候认为$b$值最优
• 本质上其实可以认为是一种正则化，类似dropout，防止过拟合

[yaoyz96]

👍有机会实际应用一下，看看效果