search

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
2.94k stars 452 forks source link

Update transformers in requirements.txt #321

Closed dividez closed 5 months ago

dividez commented 5 months ago

升级 transformers 版本，低版本的 transformers 没有 LlamaFlashAttention2 和 Cache ， 导致 SFT 无法执行