search

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
2.94k stars 452 forks source link

请问在进行增量预训练的时候，加载的模型必须是base模型吗，可以是微调过的chat模型吗? #304

Closed listwebit closed 5 months ago

listwebit commented 5 months ago

大佬好，我想进行模型的增量预训练，又几个问想请教一下： 1.进行增量预训练的时候，加载的模型必须是base模型吗，可以是微调过的chat模型吗? 2.只要其他别的模型放出来权重，hf的bin格式的权重，是不是就可以进行增量预训练呢？ 3.使用咱们得框架进行其他模型的增量预训练，怎么做呢，需要注意哪些事项呢？

请大佬回复，谢谢

shibing624 commented 5 months ago

1.都可以； 2.看模型架构支持就可以，主要是transformers库支持； 3.看下wiki