search

WangChangqi98 / CSS

[ICCV'23] Space Engage: Collaborative Space Supervision for Contrastive-based Semi-Supervised Semantic Segmentation
33 stars 3 forks source link

关于对Mix pseudo-labeling和Cross pseudo-labeling 的理解 #11

Open YUCOCOCS opened 1 year ago

YUCOCOCS commented 1 year ago

您好，感谢您卓越的工作，我认真阅读了您的代码，有了以下的理解:

  1. 关于Mix pseudo-labeling： a. 用当前批处理的每个像素点的特征与每个类的原型的特征相似度作为一类标签，另一种就是常规的经过网络预测之后分类的标签。用两者的交集来监督网络的训练。

  2. 关于 Cross pseudo-labeling： a. 先使用Logit Space训练20轮，来监督Rep. Space。 过了20轮之后，采用Rep. Space预测的结果来监督Logit Space。

  3. 关于对比学习 本文采用的对比学习的正负样本采样的策略如下: 正样本: 采用的是预测标签中属于本类别，但是置信度低于阈值的像素特征作为锚框像素，对应的原型的类别作为正样本，负样本的特征选择是用别的类与本类的原型之间进行相似度的衡量，优先选择与本类相近的对应类别的特征作为负样本。 同时我还发现，对于原型的更新，代码中显示采用了所有显卡的数据进行更新，而其他特征都是采用的是本张显卡上的数据进行计算，没有利用其他卡上的数据。

以上是我对这篇论文的理解，有错误的地方希望作者及时帮我纠正一下。感谢本篇论文作者的卓越贡献，感触颇多。

WangChangqi98 commented 1 year ago

感谢您对我们工作的关注！ 文章的基本内容就是上述您概括的，我们的主要工作就是探索了如何能让representation域的输出能够在半监督学习中起到更多的作用，来弥补或纠正logit域的输出。如果您有兴趣的话，可以探究一下如何更好的利用representation域的输出，我们采用了两种pseudo-labelling的方式来使用，或许可以有其他的方法，来增加两个域之间的信息交流。 最后祝您科研顺利！😊