请问可以支持yuan-2.0的51B模型支持增量预训练(持续预训练)吗，请大佬回复

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。

Apache License 2.0

2.94k stars 452 forks source link

Closed listwebit closed 4 months ago

listwebit commented 5 months ago

如果支持的话，应该怎么在我自己提供的预训练数据中二次预训练呢？如果不支持的话，原因是什么呢，请大佬指导

shibing624 commented 5 months ago

自行测试，model_type = auto试试。