关于分布式并行训练

[Statisticss]

请教一下，我理解目前的Megatron+DeepSpeed是张量并行+数据并行，那有没有张量、数据、流水线三者一起并行的训练框架？

[liguodongiot]

@Statisticss Megatron、Megatron-DeepSpeed、Colossal-AI、PaddlePaddle等AI框架都支持。用得比较多的是Megatron、Megatron-DeepSpeed。