[Docs] LoRA 推理服务

InternLM / lmdeploy

LMDeploy is a toolkit for compressing, deploying, and serving LLMs.

https://lmdeploy.readthedocs.io/en/latest/

Apache License 2.0

4.71k stars 430 forks source link

[Docs] LoRA 推理服务 #2686

Open LIUKAI0815 opened 3 weeks ago

LIUKAI0815 commented 3 weeks ago

📚 The doc issue

请问使用lmdeploy serve api_server THUDM/chatglm2-6b --adapters mylora=chenchi/lora-chatglm2-6b-guodegang 启动服务之后，调用的时候能不能即使用裸模型也使用lora训练后的？比如openai方式调用的时候model_name=mylora就是调用adpters；上面的命令行加上--model-name=chatglm2的参数，openai方式调用的时候model_name=chatglm2就是调用的裸模型？

Suggest a potential alternative/fix

No response

AllentDan commented 3 weeks ago

对，具体能用哪些模型可以查询 /v1/models 查看。