Link-Li / Balanced-DataParallel

这里是改进了pytorch的DataParallel, 用来平衡第一个GPU的显存使用量
231 stars 51 forks source link

您好,我使用这个代码,发现评估效果特别差。 #16

Open brave-ciao opened 1 year ago

brave-ciao commented 1 year ago

我的代码中有两个模型,一共四张卡。代码如下: dist_model = BalancedDataParallel(0,model,dim=0) dist_Disc = BalancedDataParallel(0,model_Disc,dim=0) 我把第一张卡batchsize设为零,想最大的利用后面三张卡,但是这样效果非常差,请问是什么原因?谢谢!