search

yuyinzhou / L2B

This repository includes the official project of L2B, from our paper "Learning to Bootstrap for Combating Label Noise".
28 stars 3 forks source link

关于用梯度来reweight loss的困惑 #2

Closed Alex20172023 closed 2 years ago

Alex20172023 commented 2 years ago

作者您好！完美工作。 其实有一点不明白，为什么会用到loss在meta data上计算的梯度，来直接作为新的α和β呢？ 我的意思是，这种参数的更新个人感觉应该是用α'=α-lr*梯度，直接用梯度作为更新后的值，有点不太理解具体什么意义。 希望得到作者的答复！

yuyinzhou commented 2 years ago

感谢关注与支持！ 这部分主要是依据于 Ren, Mengye, et al. "Learning to reweight examples for robust deep learning." International conference on machine learning. 2018. "直接用梯度作为更新后的值"其实是经过一步online approximation之后的一个近似。具体推导请参考paper的第三章节。 再次感谢您的支持！