liuwei1206 / LEBERT

Code for the ACL2021 paper "Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter"
336 stars 60 forks source link

词向量作用小 #63

Closed chuckhope closed 10 months ago

chuckhope commented 1 year ago

hello,最近在复现你们工作的时候发现词向量的影响可能不是特别的大,主要有以下两点疑问希望得到解答,谢谢。

1.发现词向量的值过小,加权融合后对BERT模型本身的字向量的输出影响较小,具体测试的方式尝试了改变不同的字匹配到的词,加了一些噪音,发现对模型最后的分类结果没有产生太大的差别

2.腾讯词向量的噪音样本很大,如何解决那些匹配不到词的问题呢