search

Ldhlwh / DFMGAN

[AAAI 2023] Official implementation of "Few-Shot Defect Image Generation via Defect-Aware Feature Manipulation".
https://arxiv.org/abs/2303.02389
Other
83 stars 11 forks source link

训练第二阶段显存不够 #39

Closed Tristesse-stk closed 1 month ago

Tristesse-stk commented 2 months ago

如题，本人使用单显卡12G训练，第一阶段的模型训练时刚好撑满，但是训练第二阶段就一直提示显存不够。

于是我尝试了许多办法，包括减小批次大小、channel数、设置nhwc，但是都失败了。

而且很奇怪的是，我做这些修改后所提示需要分配的显存都是一样的，这点很奇怪，应该是所需分配的显存会越来越少吧？不知道我哪里没理解对。

还是说只有resume第一个阶段生成的模型后就占了非常大的显存，很难再优化只能再从头训练一次？小白虚心请教。 Snipaste_2024-07-18_19-36-28

Ldhlwh commented 2 months ago

从截图来看应该是计算LPIPS的时候显存超了，可以稍微改一下代码减小算LPIPS时候的batch，或者也可以训练的时候先不计算，训练完再单独算

Tristesse-stk commented 1 month ago

从截图来看应该是计算LPIPS的时候显存超了，可以稍微改一下代码减小算LPIPS时候的batch，或者也可以训练的时候先不计算，训练完再单独算

按照您的建议确实有效,占用显存更小了，感谢！已Star。