search

wzhouad / Contra-OOD

Source code for paper "Contrastive Out-of-Distribution Detection for Pretrained Transformers", EMNLP 2021
MIT License
40 stars 9 forks source link

Use this Framework Only for Classification #3

Closed TaoCesc closed 2 years ago

TaoCesc commented 2 years ago

您好，您的论文是否可以分为两部分，一部分是对比学习微调词向量，一部分是OOD检测。 我将前一部分拎出来，只做文本分类，发现如果只用交叉熵会比使用对比学习来微调取得更好的效果，而且效果还相差很大。 请问这点是我的操作失误还是什么呢，然后这个对于后续的OOD检测是否会有影响呢。

wzhouad commented 2 years ago

cross entropy loss和contrastive loss是weighted sum来用的，weight是个hyperparameter。微调后的效果应该和cross entropy相当（甚至会更好）。具体用contrastive loss来做文本分类的可以看https://openreview.net/forum?id=cu7IUiOhujH

TaoCesc commented 2 years ago

非常感谢您的回答，当时一下子没想到权重的问题。现在理解了。