search

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
2.94k stars 452 forks source link

pt阶段，是否支持3D并行呢 #316

Closed listwebit closed 5 months ago

listwebit commented 5 months ago

Describe the Question

pt阶段，如果基础模型比较大，32B，模型并行GPU使用效率不高，是否支持多机多卡否支持3D并行呢，需要怎么做呢，谢谢

shibing624 commented 5 months ago

暂不支持。