生成的句子向量表示在下游任务中的使用效果

[DemonWolfe]

你好，请问当前模型生成的句子向量表示在下游任务使用当中，除了句子匹配以外还有应用到一些其他场景的效果变化吗？

[yym6472]

此前也有尝试过将STS语料上fine-tune的BERT模型进一步在GLUE的各个下游任务上做有监督fine-tune测效果，但感觉没有很显著的性能提升；还尝试过利用GLUE下游任务上的无监督语料做训练，但这样也有个问题，就是缺乏dev集来判断句子表示的质量。我的感觉是纯对比的自监督目标可能还是更适合STS任务，因为两者的任务形式天然就很相近。如果用于其他任务，感觉对比损失还是更适合作为一个辅助目标。