search

wangyuxinwhy / uniem

unified embedding model
Apache License 2.0
829 stars 64 forks source link

请问如何微调无监督文本 #71

Open nieallen opened 1 year ago

nieallen commented 1 year ago

🚀 The feature

m3e模型如何微调无监督文本呢？就是一条样本不是一对相似句子或不相似句子，只是一条领域文本

wangyuxinwhy commented 1 year ago

如果是无监督的文本，可以参考 MLM 或者 CLM 的方式先进行预训练，再使用 M3E 的数据集调一遍。