Closed fangxin2github closed 4 months ago
debug时发现是在get_loss函数内发生了内存泄露,应该是这个地方。
将训练方式更换为dp,就没有发生显存泄露了。but在else条件分支下,有好几个变量都没有被定义。
问题已解决,找到显存泄露的地方并修改文件是./examples/fashionklip/training/train_all_concept.py。但是不太清楚为什么这样子会发生显存泄露,其中LA是
from torch import linalg as LA
希望有大佬能解惑一下
随着每个batch训练,显存逐渐增大,自己找不到显存泄露的地方,求帮助。