Closed SchweitzerGAO closed 11 months ago
76页“全分片数据并行”的英文应为“Fully Sharded Data Parallel”而非"Fully Shared Data Parallel"
以及下方“2022 年 3 年发布的 NVIDIA H100 SXM ”应为“2022 年 3 月发布的 NVIDIA H100 SXM ”
以及图4.12标题应为FFN结构张量并行示意图
107页倒数第2段PyThorch应为Pytorch
都已经修改,感谢
76页“全分片数据并行”的英文应为“Fully Sharded Data Parallel”而非"Fully Shared Data Parallel"