最后获取句向量需要去掉padmask部分后取平均值

shawroad / CoSENT_Pytorch

CoSENT、STS、SentenceBERT

162 stars 21 forks source link

Open wangzemin63 opened 2 years ago

wangzemin63 commented 2 years ago

获取bert输出的最后一个hiddenstate的每一个token的词向量相加取平均作为句向量，是不是应该先将padding部分的词向量置为0，然后再相加取平均呢？

shawroad commented 2 years ago

嗯嗯

wangzemin63 commented 2 years ago

还想请教大佬，为什么在cosentmodel里面，您直接用了平均池化而没有用mask将padding部分的词向量置0，这里是笔误吗还是另有深意？我是刚入门的小白，问题比较多还请大佬勿怪。

shawroad commented 2 years ago

最好还是将padding的位置进行mask。这个代码之前写的时候没加吧。

wangzemin63 commented 2 years ago

好的好的非常感谢