search

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
2.94k stars 451 forks source link

对chat模型进行二次预训练后，自问自答 #366

Open wsl1014 opened 2 months ago

wsl1014 commented 2 months ago

我在对chatglm3-6b进行二次预训练后，测试时出现自问自答的现象，请问这种情况该怎么解决 image

shibing624 commented 2 months ago

找点高质量数据，重新训练。