wangyuxinwhy / uniem

unified embedding model
Apache License 2.0
826 stars 64 forks source link

空字符串也会输出特征,且有较高的相似度(余弦距离) #96

Open zywhehe opened 1 year ago

zywhehe commented 1 year ago

🐛 bug 说明

空字符串也会输出特征,与其他特征计算余弦距离时,能达到0.6+相似度,请问这个是一个bug还是模型本身的缺陷,这是否意味着模型输出的特征不可信

Python Version

None

wangyuxinwhy commented 1 year ago

可以说是模型本身的缺陷,M3E 的校准并不好,或者说相似度的度量本身不以为着概率等实际意义,相对的比较有意义,绝对的数值没有意义。但不意味特征不可信,算是对比学习的通病。