Open yangwei-nlp opened 4 years ago
utils.py下的load_model_params函数只加载了Bert的权重(3个embedding层以及12个transformer块),但是没有加载decoder层(比如seq2seq任务的BertLMPredictionHead)参数,这是为什么? (推测加载后效果会更好。) https://github.com/920232796/bert_seq2seq/blob/74c5e36521fd2f4833941d367508379ec9395947/bert_seq2seq/utils.py#L42-L50
utils.py
load_model_params
BertLMPredictionHead
你可以试试,不过bert加载预训练模型参数的话,就是只加载这些,因为bert不只是做seq2seq,还会做别的任务,比如文本分类,这时候就根本不需要加载decoder层了吧~
好像有个unilm预训练模型 应该就是跟你说的一样 加载了你说的这些,我这个是使用的bert预训练模型。
好勒,谢谢,基本了解了~
ok
utils.py
下的load_model_params
函数只加载了Bert的权重(3个embedding层以及12个transformer块),但是没有加载decoder层(比如seq2seq任务的BertLMPredictionHead
)参数,这是为什么? (推测加载后效果会更好。) https://github.com/920232796/bert_seq2seq/blob/74c5e36521fd2f4833941d367508379ec9395947/bert_seq2seq/utils.py#L42-L50