Closed lxyxl0216 closed 1 year ago
您好。 我在使用了你的并行demo之后,同样的模型和batch 比nn.DataParallel 需要更大显存了,这是为什么呢?。环境:pytorch1.12 cuda10.2
不好意思,我也不太懂,请你去网上搜索一下。
您好。 我在使用了你的并行demo之后,同样的模型和batch 比nn.DataParallel 需要更大显存了,这是为什么呢?。环境:pytorch1.12 cuda10.2