search

senyang-ml / Comments

0 stars 0 forks source link

PyTorch使用torch.nn.DataParallel进行多GPU训练的一个BUG，已解决 | Sen Yang #2

Open utterances-bot opened 4 years ago

utterances-bot commented 4 years ago

PyTorch使用torch.nn.DataParallel进行多GPU训练的一个BUG，已解决 | Sen Yang

解决了PyTorch 使用torch.nn.DataParallel 进行多GPU训练的一个BUG: 模型(参数)和数据不在相同设备上

http://senyang-ml.github.io/2019/07/20/pytorch-multigpu/

Zhanyu-Wang commented 3 years ago

感谢分享！解决了我一个困扰很久的 bug，就是 DataParallel 怎么同步不同卡上的数据操作交互，nn.Module 原来是自动同步的，所以操作必须放在 class 里。

zhangjinyangnwpu commented 3 years ago

感谢，python list 的拷贝方式真是没发现