search

yzhangcs / parser

:rocket: State-of-the-art parsers for natural language.
https://parser.yzhang.site/
MIT License
829 stars 141 forks source link

关于词向量权重的初始化问题 #13

Closed zjiehang closed 5 years ago

zjiehang commented 5 years ago

你好，观察到代码里将pretrained embedding和zero embedding进行了加和，请问这样的操作和不用zero embedding是不是做的一件事？ 由于zero embedding可以看作0均值0方差，在embedding dropout中在计算scale的时候将word level乘以2是否还有必要？ 谢谢。

yzhangcs commented 5 years ago

第二个embedding是trainable的，后面会进行学习