单卡训练batchsize128 和八卡训练batchsize512差别会很大么

[zengerYu]

作者您好。我使用VIT-S并且batchsize128 单卡训练，最后验证ddr. test准确率只有55左右。最大的原因就是因为没使用batchsize512和八卡机训练么。 看您论文这个可以达到71左右。

[YijinHuang]

您好。是的，对比学习对batch size比较敏感，小的batch size可能效果会差很多。此外，若改变batch size，其他超参也应当相应改变，如learning rate等。通过改变超参，可能可以达到与大batch size相对接近的结果。谢谢。