search

luyug / GradCache

Run Effective Large Batch Contrastive Learning Beyond GPU/TPU Memory Constraint
Apache License 2.0
327 stars 19 forks source link

Nice Job #1

Closed menghuanlater closed 2 years ago

menghuanlater commented 2 years ago

很棒的工作，正好解决了我所遇到的难题

here101 commented 2 years ago

很棒的工作，正好解决了我所遇到的难题

请问你方便放出你的关于这个训练过程的部分代码吗，我英语阅读能力有限，没看太懂这个readme中的如何使用。 我不知道如何与一般训练过程中的loss计算,loss.backward,optimizer.step(). 谢谢！