Closed lynex closed 2 years ago
I have a question。 感觉为何不用 大数据中的reduce 或者 treereduce 而用allreduce。 allreduce -> ring allreduce。的整个历史和为何最后到RingAllreduce值得说出来。 https://github.com/microsoft/AI-System/blob/main/Textbook/%E7%AC%AC6%E7%AB%A0-%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E7%AE%97%E6%B3%95%E4%B8%8E%E7%B3%BB%E7%BB%9F/6.3-%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E7%AE%97%E6%B3%95%E5%88%86%E7%B1%BB.md
更改为latex语法
我们是否有一些性能最佳实践可以告知读者,例如 NCCL应该如何用比较快,容易出什么问题
I have a question可以解释,为何NCCL胜出,相比MPI的原因。相比其他厂商的原因。
How about add more words to explain figures and sub section?