Open HearyShen opened 3 years ago
https://heary.cn/posts/DistributedDataParallel-DDP-PyTorch%E5%A4%9A%E8%BF%9B%E7%A8%8B%E5%B9%B6%E8%A1%8C%E8%AE%A1%E7%AE%97/
PyTorch的DistributedDataParallel(DDP)可以实现多进程的并行计算，相较于传统的单进程多线程的DataParallel，DDP支持多节点的分布式计算。即使在单机多卡的场景下，DDP通常性能也更好，因为它不仅规避了Python多线程的全局解释器锁争用（GIL contention）造成的性能开销，而且还不需要在多GPU训练中频繁复制同步模型、分发输入数据和收集模型输出。
https://heary.cn/posts/DistributedDataParallel-DDP-PyTorch%E5%A4%9A%E8%BF%9B%E7%A8%8B%E5%B9%B6%E8%A1%8C%E8%AE%A1%E7%AE%97/
PyTorch的DistributedDataParallel(DDP)可以实现多进程的并行计算，相较于传统的单进程多线程的DataParallel，DDP支持多节点的分布式计算。即使在单机多卡的场景下，DDP通常性能也更好，因为它不仅规避了Python多线程的全局解释器锁争用（GIL contention）造成的性能开销，而且还不需要在多GPU训练中频繁复制同步模型、分发输入数据和收集模型输出。