search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.85k stars 355 forks source link

模型并行训练的问题 #92

Open aihaidong opened 1 year ago

aihaidong commented 1 year ago

单卡训练的截图 image

单卡配置文件 image

多卡修改的配置文件 image 多卡训练的截图 image

发现第二张卡只是占了显存，但是第一张卡占的显存并没有比单卡少按理说应该是第一张卡要比单卡占得显存少很多，这是什么原因啊

yuanzhoulvpi2017 commented 1 year ago

在多卡训练的时候，你是不是将batch_size也调大了

aihaidong commented 1 year ago

当时没有太明白，然后已经放弃了p-tuninig训练方法了，感觉这种方法不如只训练后几层效果好~~，感谢大佬回复