关于并行化的一个问题

[lxyxl0216]

您好。 我在使用了你的并行demo之后，同样的模型和batch 比nn.DataParallel 需要更大显存了，这是为什么呢？。环境：pytorch1.12 cuda10.2

[SingleZombie]

不好意思，我也不太懂，请你去网上搜索一下。