爆显存问题

[leenacl]

你好，首先感谢您的代码公开分享。 作为一个初学者，有个问题向您请教：我在复现您的代码（数据集使用NYU，在两张2080 TI上进行训练），第一个epoch正常进行，但是在进行val的时候却显示cuda out of memory

[yinbow]

您好， 感谢您对我们工作的关注。

NYU上的实验我使用了两张 3090进行的实验，在测试阶段往往会加载新的数据，会使显存占用增加，您可以考虑使用更小的Batch size, 比如6（默认是8，在config里面修改），或者是更小的模型Scale,比如-B、-S。

之前有issue提到单卡适配，我当时使用单卡3090跑DFormer-L在NYU上Batch size=6时可以到达57.1，您可以参考下，但是进一步缩小Batch size有可能会带来性能的下降。也可以考虑使用梯度累积。