search

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
3.24k stars 492 forks source link

关于GLM3微调细节 #281

Open DeMoth-1 opened 10 months ago

DeMoth-1 commented 10 months ago

请问在使用SFT微调ChatGLM3时，您有根据数据集角色处理添加特殊Tokens吗？我翻了一下代码没有找到相关信息，请教一下。

shibing624 commented 10 months ago

没

DeMoth-1 commented 10 months ago

哦哦好的

DeMoth-1 commented 10 months ago

https://github.com/minghaochen/chatglm3-base-tuning 项目实现了对GLM3特殊tokens的处理，您可以考虑整合一下