search

OpenLMLab / LOMO

LOMO: LOw-Memory Optimization
MIT License
974 stars 68 forks source link

about torch.stack(self.grad_norms) #30

Open jinzitian opened 1 year ago

jinzitian commented 1 year ago
image

这里运行的时候报了 RuntimeError: stack expects a non-empty TensorList 的错误，看了下代码，确实是空的，这个地方要怎么解决呢？

KaiLv69 commented 1 year ago

你好，在loss.backward()的过程中会对self.grad_norms进行append。你对代码进行了哪些改动？

jinzitian commented 1 year ago

你好，在loss.backward()的过程中会对self.grad_norms进行append。你对代码进行了哪些改动？

我没有改动哈，贴出来的就是库上的代码，只是报错了找到这个地方～～

KaiLv69 commented 1 year ago

我这里直接使用bash run.sh难以复现这个问题，请问您能提供进一步的shell命令和配置吗（如果有改动的话）？