search

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
2.94k stars 451 forks source link

增量预训练PT与有监督微调SFT的疑问 #386

Open VirgilG72 opened 6 days ago

VirgilG72 commented 6 days ago

大佬，我看你再ipynb的示例中提到“做领域知识注入，SFT比PT更高效，也可以跳过PT阶段”，如果我的领域知识数据集不好构造指令微调数据集，那应该怎么进行SFT呢？大佬有没有什么高见

shibing624 commented 6 days ago

看下self-instruct.