Openai style api for open large language models, using LLMs just as chatgpt! Support for LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA, ChatGLM, ChatGLM2, ChatGLM3 etc. 开源大模型的统一后端接口
Apache License 2.0
2.33k
stars
264
forks
source link
change the parameter best_of of vllm chat_completion #289
xusenlinzy
commented
3 months ago
当使用 vllm 进行部署，并用 langchain 进行推理时。langchain的请求默认 best_of 为 1，如果请求中的 n > 1，vllm 会报以下错误。