search

terrifyzhao / bert-utils

一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算
Apache License 2.0
1.65k stars 425 forks source link

关于输出句向量维度的问题。768->128 #58

Open XGodLike opened 4 years ago

XGodLike commented 4 years ago

我的场景是两个文本的相似度，思路是：微调后，抽取的最后一层池化作为了句向量，用余弦来计算相似度。是768维的，效果还可以，后来因为有个需求需要降低到128维，我直接在768维后面接了一个全连接降到128维了。但是效果就不好了....是不是这种方式不可行？

fanruifeng commented 4 years ago

同问

Lich-King000 commented 2 years ago

@XGodLike 你好，请问这个问题你解决了吗？直接接全连接层可行吗？

fanruifeng commented 2 years ago

encoder之后,将输出层进行均值操作,在接全连接层, 你自己设计你的解码操作, 两个输入和输出,共享这个编码层,最后组件一个余弦相似度模型层,试试