两张4090单机多卡跑，咋感觉越跑越慢了，比单卡慢

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)

MIT License

3.04k stars 369 forks source link

Open renllll opened 1 year ago

renllll commented 1 year ago

单卡跑，一步4，5秒，一批次10个数据，单卡一次1个数据，却要7秒，这是啥原因

renwenlong-github commented 1 year ago

我也是，感觉没用起来所有的卡

yuanzhoulvpi2017 commented 1 year ago

模型并行，是因为有气泡时间～