search

yitu-opensource / T2T-ViT

ICCV2021, Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet
Other
1.14k stars 177 forks source link

显存随着训练的进行不断增长 #9

Closed shinianzhihou closed 3 years ago

shinianzhihou commented 3 years ago

你好，我在第1个epoch训练结束后，训练第二个epoch发现显存增长，然后在第三个epoch的时候显存爆了。 请问这是正常的吗？

yuanli2333 commented 3 years ago

是正常的，现在的显存占用会很大，因为我们在T2T module中使用的是Transformer layer，我们会在下周发布在T2T module中使用Performer layer的代码。

shinianzhihou commented 3 years ago

你好～新年快乐～and期待Performer的代码release～

yuanli2333 commented 3 years ago

新年快乐～这周会release

miraclebiu commented 3 years ago

是正常的，现在的显存占用会很大，因为我们在T2T module中使用的是Transformer layer，我们会在下周发布在T2T module中使用Performer layer的代码。

从开始训练到结束训练，显存增长大概会增长多少？我训练的时候也遇到了这个问题

zjhdxh commented 3 years ago

是正常的，现在的显存占用会很大，因为我们在T2T module中使用的是Transformer layer，我们会在下周发布在T2T module中使用Performer layer的代码。

从开始训练到结束训练，显存增长大概会增长多少？我训练的时候也遇到了这个问题

我也遇到了这样的问题，每过一会显存就会涨一点。