Closed guoguoguilai closed 5 years ago
之前我实现了多GPU训练(使用pytorch的DataParallel),但是由于LAB网络分散(共三个组件),实验中提速效果并不明显,想来可能是数据调度所花费的时间要多于提高batchsize节省的时间导致的。不过,最新的update中我已经尽可能提高了数据拉取的速度,现在使用多GPU是否会有效果我后面会做实验验证一下。
之前我实现了多GPU训练(使用pytorch的DataParallel),但是由于LAB网络分散(共三个组件),实验中提速效果并不明显,想来可能是数据调度所花费的时间要多于提高batchsize节省的时间导致的。不过,最新的update中我已经尽可能提高了数据拉取的速度,现在使用多GPU是否会有效果我后面会做实验验证一下。