search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.85k stars 355 forks source link

模型并行启动方式 #121

Open kevinuserdd opened 1 year ago

kevinuserdd commented 1 year ago

模型并行只能用python执行吗? torchrun 执行是不是不可以呢？ torchrun默认启动多进程