模型并行中不同层之间是如何通信的？同一层的张量并行组是如何通信的？

[Hongjie1Chu]

模型并行中，每层训练前的输入是来自上一层的，那上一层是怎么传入到这一层的呢？每个进程执行完train后是如何与张量并行组的其他进程通信的呢？一层计算完后是如何将结果传入到下一层的？又是通过那个接口将输出传递给下一层的？ 比如说：图中3，4是如何拿到1，2的计算结果的？3，4各自计算完后是如何通信的？通信完后又是调用的那个接口将结果传递给5，6的？