search

TsinghuaAI / CPM-2-Finetune

Finetune CPM-2
MIT License
83 stars 21 forks source link

官方提供预训练模型参数是4个模型并行的文件，这限定模型并行必须是4？ #47

Open Tron1994 opened 1 year ago

Tron1994 commented 1 year ago

finetinue的并行训练中模型并行必须设置为4吗，设置为8时会加载失败

t1101675 commented 1 year ago

是的，或者可以使用 https://github.com/TsinghuaAI/CPM-1-Generate/blob/main/change_mp.py 来改变并行度