yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.93k stars 360 forks source link

模型并行,数据没有并行? #87

Closed GUORUIWANG closed 1 year ago

GUORUIWANG commented 1 year ago

请问是什么原因呢

yuanzhoulvpi2017 commented 1 year ago

重新提问,你这说的是什么东西

GUORUIWANG commented 1 year ago

你好,不好意思刚刚表述有些问题,我重新描述一下: 同样设置:3w数据,1个epoch 2个卡,ptv2方式train,per_device_train_batch_size 1, gradient_accumulation_steps 16 在以下方式中迭代数不一样 1)模型并行: steps 1875 2)非模型并行:steps 938 请问 模型并行为啥数据没有并行?