关于本地训练问题

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。

Apache License 2.0

3.24k stars 492 forks source link

Closed Ruiruiz30 closed 1 month ago

Ruiruiz30 commented 3 months ago

您好，我想在本地环境训练这个医疗领域大模型，预训练使用Baichuan2。因为我注意到Training Detail中提到PT阶段是可选项，所以请问建议的训练流程是什么，怎样才能使这个模型效果更好？感谢您的回复！

shibing624 commented 3 months ago

SFT+DPO