openmlsys / openmlsys-zh

《Machine Learning Systems: Design and Implementation》- Chinese Version
https://openmlsys.github.io
3.93k stars 426 forks source link

通信模型中 Transmission Delay 的定义是否有问题? #480

Closed MarioLulab closed 4 weeks ago

MarioLulab commented 4 months ago

原文 ( https://openmlsys.github.io/chapter_distributed_training/collective.html#id3 ) 提到 "传输一个长度为 $l$ 个字节(Byte)的消息会花费 $a + b \times l$ 的时间,其中 $a$ 代表延迟(Latency),即一个字节通过网络从一个设备出发到达另一个设备所需的时间; $b$ 代表传输延迟(Transmission Delay),即传输一个具有 $l$ 个字节的消息所需的全部时间。前者取决于两个设备间的物理距离(如跨设备、跨机器、跨集群等),后者取决于通信网络的带宽。" image

此处对 Transmission Delay 的定义是否有误? 正确的应该是 $b \times l$ 才代表 Transmission Delay, $b$ 只代表传输一个字节所需的时间,即把一个字节从主机传输到传输介质所花的时间,这个时间取决于通信网络的带宽