想问一下，多GPU训练的话需要怎么修改呢？

[FunkyKoki]

之前我实现了多GPU训练（使用pytorch的DataParallel），但是由于LAB网络分散（共三个组件），实验中提速效果并不明显，想来可能是数据调度所花费的时间要多于提高batchsize节省的时间导致的。不过，最新的update中我已经尽可能提高了数据拉取的速度，现在使用多GPU是否会有效果我后面会做实验验证一下。