search

z814081807 / DeepNER

天池中药说明书实体识别挑战冠军方案；中文命名实体识别；NER; BERT-CRF & BERT-SPAN & BERT-MRC；Pytorch
914 stars 229 forks source link

多卡为啥没用torch.nn.parallel.DistributedDataParallel(model) #2

Closed 673607154 closed 3 years ago

673607154 commented 3 years ago

请教一下，我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids)， 为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)

z814081807 commented 3 years ago

请教一下，我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids)， 为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)

也可以使用第二种，效率更高，我习惯用第一种了，双卡的话用起来比较方便简单 多卡训练可以参考：https://www.cnblogs.com/yh-blog/p/12877922.html 进行优化

673607154 commented 3 years ago

请教一下，我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids)， 为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)

也可以使用第二种，效率更高，我习惯用第一种了，双卡的话用起来比较方便简单 多卡训练可以参考：https://www.cnblogs.com/yh-blog/p/12877922.html 进行优化

好的，谢谢