Closed Hongjie1Chu closed 9 months ago
模型并行中,每层训练前的输入是来自上一层的,那上一层是怎么传入到这一层的呢?每个进程执行完train后是如何与张量并行组的其他进程通信的呢?一层计算完后是如何将结果传入到下一层的?又是通过那个接口将输出传递给下一层的? 比如说:图中3,4是如何拿到1,2的计算结果的?3,4各自计算完后是如何通信的?通信完后又是调用的那个接口将结果传递给5,6的?
模型并行中,每层训练前的输入是来自上一层的,那上一层是怎么传入到这一层的呢?每个进程执行完train后是如何与张量并行组的其他进程通信的呢?一层计算完后是如何将结果传入到下一层的?又是通过那个接口将输出传递给下一层的? 比如说:图中3,4是如何拿到1,2的计算结果的?3,4各自计算完后是如何通信的?通信完后又是调用的那个接口将结果传递给5,6的?![v2-708c01105de92567824bd9d3456b9459_720w](https://github.com/HPDL-Group/Merak/assets/140596238/7c6f40a8-59e5-4fc3-94e3-c02ffda8b9a6)