Closed tanbuzheng closed 2 months ago
作者您好!非常感谢您能够分享论文和代码。我有些关于计算资源方面的问题想请教您一下。 请问您在训练第二阶段的transformer时,batchsize是如何设定的?我看到在imagnet上训练时,您的config文件中batchsize设置为8,batchsize设置的较小会对结果产生影响么? 另外,请问您在训练阶段用了什么gpu,是一个3090么?
感谢关注我们的工作。在imagenet上训练transformer的成本还是比较大的。config文件中的batch size是单卡的。对于ImageNet,总的batch size是384,也就是48块显卡。GPU型号是32G的V100。
作者您好!非常感谢您能够分享论文和代码。我有些关于计算资源方面的问题想请教您一下。 请问您在训练第二阶段的transformer时,batchsize是如何设定的?我看到在imagnet上训练时,您的config文件中batchsize设置为8,batchsize设置的较小会对结果产生影响么? 另外,请问您在训练阶段用了什么gpu,是一个3090么?