微调过glm4之后，open_api调用微调模型报错

datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程

Apache License 2.0

6.08k stars 748 forks source link

Closed Wwwwwzzzzbbbb closed 1 week ago

Wwwwwzzzzbbbb commented 1 week ago

大佬有没有vllm加载lora后的模型的openai_api的demo

KMnO4-zx commented 1 week ago

把训练好的lora参数合并后，就可以直接用原模型的代码运行vllm