y1r
commented
5 years ago - NCCLの初期化: https://github.com/nccl-reader/nccl/blob/master/src/init.cc#L937
- リング生成アルゴリズム: https://github.com/nccl-reader/nccl/blob/master/src/misc/rings.cc#L67
- CUDAカーネル: https://github.com/nccl-reader/nccl/blob/master/src/collectives/device/all_reduce.h#L11
- 通信スレッド: https://github.com/nccl-reader/nccl/blob/master/src/transport.cc#L135
- Reduceや通信処理をキックするヘルパー: https://github.com/nccl-reader/nccl/blob/master/src/collectives/device/primitives.h#L35
- ncclTransport インターフェイス (実装はSHM, P2P, NET): https://github.com/nccl-reader/nccl/blob/master/src/include/transport.h#L87
- ncclNet インターフェイス (実装はIB, Socket): https://github.com/nccl-reader/nccl/blob/master/src/include/nccl_net.h#L61