chatglm_v2_6b_lora多卡如何设置，没有找到

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)

MIT License

2.81k stars 351 forks source link

Open BQQQQB opened 9 months ago

BQQQQB commented 9 months ago

chatglm_v2_6b_lora多卡如何设置，没有找到

enzocxt commented 5 months ago

同问，我也没找到，多卡就报错

yuanzhoulvpi2017 commented 5 months ago

现在建议使用deepspeed来训练吧（这个支持多卡训练）。不建议使用模型并行来训练了。