如何正确的加入预训练的词向量

THUNLP-MT / THUMT

An open-source neural machine translation toolkit developed by Tsinghua Natural Language Processing Group

BSD 3-Clause "New" or "Revised" License

701 stars 197 forks source link

Open orangefly0214 opened 4 years ago

orangefly0214 commented 4 years ago

我在models的rnnsearch.py中加入了使用预训练词向量的代码，从此每5000个step验证完之后都会重新加载一次预训练的词向量，这样我的embedding是不是就不会微调了啊，感觉不太对。期待您的答复，谢谢~

Playinf commented 4 years ago

预训练词向量一般通过initializer添加，只在初始化的时候赋值。当存在保存的checkpoint时，初始化的参数会被checkpoint中的参数覆盖。在验证时会恢复之前保存的checkpoint，按说不会加载之前的词向量。

orangefly0214 commented 4 years ago

预训练词向量一般通过initializer添加，只在初始化的时候赋值。当存在保存的checkpoint时，初始化的参数会被checkpoint中的参数覆盖。在验证时会恢复之前保存的checkpoint，按说不会加载之前的词向量。请问你们做过加入预训练词向量的实验吗，我加入以后效果还不如不加了，疑惑