shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型,实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
3.37k stars 507 forks source link

sharegpt_gpt4的看了数据跟医疗没有关系,为什么也可以用于医疗多轮对话的微调呢? #415

Open cqray1990 opened 2 months ago

cqray1990 commented 2 months ago

Describe the Question

Please provide a clear and concise description of what the question is.

1.在10万条多语言ShareGPT GPT4多轮对话数据集shibing624/sharegpt_gpt4上SFT微调了一版baichuan-13b-chat多轮问答模型,日常问答和医疗问答效果有提升,发布微调后的LoRA权重

2.在240万条中英文医疗数据集shibing624/medical上SFT微调了一版Ziya-LLaMA-13B模型,医疗问答效果有提升,发布微调后的完整模型权重(单轮对话) 这个微调是240w的数据全部用了,还是只用了1000,看sft命令max_train_samples设置的是1000

shibing624 commented 2 months ago

1.有补充医疗数据;2.全部数据。