vocab扩展后的模型合并问题

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。

Apache License 2.0

2.94k stars 451 forks source link

Open sungatetop opened 1 month ago

sungatetop commented 1 month ago

使用llama的词表32000，扩展词表后33296，预训练完成后，模型合并出现维度不一致。是哪里参数设置错误了吗？

shibing624 commented 1 month ago

需要model resize 一下tokenizer