Closed TaoCesc closed 2 years ago
您好,您的论文是否可以分为两部分,一部分是对比学习微调词向量,一部分是OOD检测。 我将前一部分拎出来,只做文本分类,发现如果只用交叉熵会比使用对比学习来微调取得更好的效果,而且效果还相差很大。 请问这点是我的操作失误还是什么呢,然后这个对于后续的OOD检测是否会有影响呢。
cross entropy loss和contrastive loss是weighted sum来用的,weight是个hyperparameter。微调后的效果应该和cross entropy相当(甚至会更好)。具体用contrastive loss来做文本分类的可以看https://openreview.net/forum?id=cu7IUiOhujH
非常感谢您的回答,当时一下子没想到权重的问题。现在理解了。
您好,您的论文是否可以分为两部分,一部分是对比学习微调词向量,一部分是OOD检测。 我将前一部分拎出来,只做文本分类,发现如果只用交叉熵会比使用对比学习来微调取得更好的效果,而且效果还相差很大。 请问这点是我的操作失误还是什么呢,然后这个对于后续的OOD检测是否会有影响呢。