search

OpenLMLab / LOMO

LOMO: LOw-Memory Optimization
MIT License
978 stars 68 forks source link

公式4疑问 #37

Closed yaorong1996 closed 1 year ago

yaorong1996 commented 1 year ago

公式4里面的第二项L，是否应该是L对f的导数？

KaiLv69 commented 1 year ago

你好，感谢你指出这个问题，公式（4）中等式右边第二项的L(dj,ξ)确实应该加上求导符号，这个typo会在下一版论文中改正！ 加上这个求导符号更能支持这一小节的结论，公式（5）（6）等式右边最后一项的L(dj,ξ)前也应该相应加上求导符号。根据我们对loss surface足够平坦的假设，这一项仍然可以忽略。