Closed ZS-YANG closed 1 year ago
请问作者大大的8卡都是什么配置呀,我打算从头开始在imagenet上训练网络,选用什么显卡合适呢
你好! 我们的实验是在8张V100上面跑的。关于选用显卡你可以去找更专业的建议~抱歉!
哈喽,作者大大,还有个问题想请教下,如果我使用4卡训练,需要将学习率减半吗@ChengpengChen
对于SGD优化器,有个学习率线性法则可以参考,即”总batchsize/学习率“保持不变。 所以,当用4卡训练时,如果每张卡batchsize不变,学习率减半,如果每张卡batchsize加倍,学习率保持不变。
请问作者大大的8卡都是什么配置呀,我打算从头开始在imagenet上训练网络,选用什么显卡合适呢