search

ZhenZHAO / iMAS

[CVPR'23] Instance-specific and Model-adaptive Supervision for Semi-supervised Semantic Segmentation
https://arxiv.org/abs/2211.11335
36 stars 5 forks source link

dist.all_reduce(loss)的目的 #2

Closed Hugo-cell111 closed 1 year ago

Hugo-cell111 commented 1 year ago

作者你好！在这行代码里，我看到你使用了dist.all_reduce，但是一般来说使用了DDP就不需要再把各GPU上的值给汇总起来了。请问这行代码的作用是什么呢？

ZhenZHAO commented 1 year ago

Hi, 应该是为了统计总loss，同样地方式，还统计了hardness。