请问现在还不支持张量并行么？只支持流水线并行和数据并行？

HuangLK / transpeeder

train llama on a single A100 80G node using 🤗 transformers and 🚀 Deepspeed Pipeline Parallelism

Apache License 2.0

208 stars 18 forks source link

Open ezioliao opened 1 year ago

ezioliao commented 1 year ago

我看代码貌似是这样

ezioliao commented 1 year ago

我看代码是没有对layer内部做矩阵拆分来进行乘法的，所以是不是现在还不支持张量并行了？

HuangLK commented 1 year ago

ds的pipeline engine内部有对activation和gradient做partition，但并行化程度应该是比不上megatron的