search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.81k stars 351 forks source link

chatGLMv2-6b lora模型并行，代码中使用了几张卡？ #147

Open sxl1993 opened 1 year ago

sxl1993 commented 1 year ago

看代码中，也没使用deepspeed或者touch.distribute.launch，怎么就能模型并行呢？

yuanzhoulvpi2017 commented 1 year ago

模型并行和这两个东西没关系