Closed guijuzhejiang closed 3 years ago
我把原来的total_loss += loss.item()改成total_loss += loss.mean(),是可以跑起来了。
好嘞,多卡我还没了解,多谢您的尝试!
我把原来的total_loss += loss.item()改成total_loss += loss.mean(),是可以跑起来了。
您好!因为显存限制,我也想尝试使用多卡来运行代码,但我自己的尝试失败了,所以想请问您这边的代码实现可以分享一下吗?非常感谢!
现在的代码只支持单卡训练,为了改成多GPU并行训练,加了DistributedDataParallel。报错 RuntimeError: grad can be implicitly created only for scalar outputs 好像是loss.backward()的错误 请问有尝试修改代码做多GPU训练吗?