search

Gank0078 / ACR

Pytorch implementation for "Towards Realistic Long-Tailed Semi-Supervised Learning: Consistency Is All You Need" (CVPR 2023)
65 stars 5 forks source link

论文思路 #1

Closed Hugo-cell111 closed 1 year ago

Hugo-cell111 commented 1 year ago

作者你好！今天在CVPR官网看到你们的论文，深受启发！对于论文我有两个问题想请教作者：（1）引言部分所列举的三种分布不匹配情况（uniform/consistent/reverse）是怎么想到的？是通过其它论文受到启发还是在做实验的过程中发现这一现象呢？（2）论文对原始的logit adjusted loss的超参数τ进行了自适应改编，由于logit adjusted loss论文强调τ越大越关注少数类别，请问你们是怎么想到使用KL散度去自适应衡量τ的值呢？谢谢！

Gank0078 commented 1 year ago

同学你好，感谢你对我们的工作的关注！对于你的两个问题，我们的解释如下： （1）三种分布的情况已经在以前的论文中被提到，比如DASO(https://arxiv.org/abs/2106.05682)等；在实际的实验过程中，对于普通的SSL或者LTSSL算法确实会出现由于分布不匹配的问题，导致性能的下降； （2）使用KL散度结合anchor分布可以衡量出当前大致的无标签数据分布，从而可以根据不同的无标签数据分布进行τ的调整，如果无标签呈现reversed的分布，那么自然需要更大的τ值来调整伪标签的分布使其更加接近真实的分布，具体可以参考论文公式7下方的解释。