Open L-hongbin opened 1 year ago
请问lm_head.weight 和 model.embed_tokens.weight 的值为什么是不一样的呢,一般在预训练中会复用model.embed_tokens.weight 来映射回词表,所以感觉一般是一样的。这里是在预训练的时候把 model.embed_tokens.weight 和 lm_head.weight 分开了吗?
Required prerequisites
Questions
请问lm_head.weight 和 model.embed_tokens.weight 的值为什么是不一样的呢,一般在预训练中会复用model.embed_tokens.weight 来映射回词表,所以感觉一般是一样的。这里是在预训练的时候把 model.embed_tokens.weight 和 lm_head.weight 分开了吗?
Checklist