关于在Transformer系列模型使用

LiheYoung / UniMatch

[CVPR 2023] Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation

https://arxiv.org/abs/2208.09910

MIT License

478 stars 60 forks source link

Open Wenlve-Zhou opened 9 months ago

Wenlve-Zhou commented 9 months ago

您好，十分感谢你们出色的工作。FixMatch可以用在不同的模型，包括CNN或者Transformer。当我把UniMatch直接用在Transformer系列的模型时，例如Segformer，发现增益不明显。我想咨询你们是否有过类似的探索，可否分享一下，谢谢！

LiheYoung commented 6 months ago

我们有过一些探索，发现换成SegFormer后提升还是非常显著的。

zdk258 commented 6 months ago

在plain vit结构上的结果好像没有其他方法提升明显