关于多卡环境下的batch size跟learning rate

[davidpengiupui]

System information

• Have I written custom code:
• OS Platform(e.g., window10 or Linux Ubuntu 16.04):
• Python version:
• Deep learning framework and version(e.g., Tensorflow2.1 or Pytorch1.3):
• Use GPU or not:
• CUDA/cuDNN version(if you use GPU):
• The network you trained(e.g., Resnet34 network):

Describe the current behavior

Error info / logs 老师您好，听了您的课但还是有一些关于distributed_data _parallel的困惑。比如说我原本在单卡上batch size为32，learning rate为1e-4，那变成双卡后， 在想要跟单卡接近的环境下运行，batch size是不是要对应变成16？另外就是learning rate，我看到网上一些说法是pytorch在distributed_data_parallel下会对两卡的gradient取平均，这样还要把learning rate加倍到2e-4吗？还是维持原来的1e-4？