ZhenZHAO
commented
1 year ago hello. 我记得文章里做了 with / without 的ablation。可以用labeled data，但会有一个问题，如果直接加入labeled data的mix，会过拟合到labeled data，反而会降点，你可以探索一下。其实这也是我在另一个augseg文章里聊得，只用labeled data 去帮助 less confident 的unlabeled data，而不是一直用。
文章核心很简单呀，就是aug过强会over-pertubation，会破坏数据分布，aug太弱呢，loss又太小，模型学不到东西。所以我这几个工作里都highlight的目前pseudo-labeling 这一系列的SSL方法，核心就是产生 prediction disagreement，但如何产生合适的不同呢？跟数据有关？跟模型的训练程度有关？
到这，这文章观点就这些了。其实还有一种思路，你就用强augmentation来产生 prediction disagreement，但是为了不破坏数据分布，不破坏模型，再来点别的策略呢？
有试过不用easy-hard pair吗？就用labeled image，效果怎么样？我不明白为啥easy-hard的方法效果会好，能进一步解释一下吗？谢谢。