Open Clearloveplus7 opened 11 months ago
现在想要做的是query和answer的匹配,而且是开放领域,比较复杂。问句中可能没有和answer对应的实体或者意图。比如: query: 我可以吃生蚝和扇贝吗 answer: 你不知道,我这个人对海鲜过敏 类似这样的匹配,试了很多模型相似度都很低,这个m3e偶尔可以,但是不相关的相似也很高。这个解决办法只能用增加数据集吗
None
你自己如果有可以用来微调的数据集,最好自己微调一下 M3E 。 M3E 的相似度校准确实不理想,被吐槽过很多次了... 最好的方式肯定是微调,或者试试最近新出的 bge 系列模型?
🐛 bug 说明
现在想要做的是query和answer的匹配,而且是开放领域,比较复杂。问句中可能没有和answer对应的实体或者意图。比如: query: 我可以吃生蚝和扇贝吗 answer: 你不知道,我这个人对海鲜过敏 类似这样的匹配,试了很多模型相似度都很低,这个m3e偶尔可以,但是不相关的相似也很高。这个解决办法只能用增加数据集吗
Python Version
None