search

1Panel-dev / MaxKB

🚀 基于大语言模型和 RAG 的知识库问答系统。开箱即用、模型中立、灵活编排，支持快速嵌入到第三方业务系统。
https://maxkb.cn/
GNU General Public License v3.0
10.54k stars 1.39k forks source link

[BUG] #1307

Closed najsword closed 1 week ago

najsword commented 1 week ago

联系方式

No response

MaxKB 版本

v1.5.1 (build at 2024-08-29T17:29, commit: 30b1bdfe)

问题描述

问题： vllm方式部署openai的接口方式，请求接口需要使用/v1/chat/completions 接口 但是测试mk对话应用时，返回404,。 查看原因是mk发送传了 /chat/completions，少了/v1.
尝试解决： 在urls.py里添加类似一行代码，加个/v1，导致容器启动失败 希望： 能够直接支持/v1 带版本的openai接口请求，使得应用返回正常，而不是404查询结果

重现步骤

问题： vllm方式部署openai的接口方式，请求接口需要使用/v1/chat/completions 接口 但是测试mk对话应用时，返回404,。 查看原因是mk发送传了 /chat/completions，少了/v1.
尝试解决： 在urls.py里添加类似一行代码，加个/v1，导致容器启动失败 希望： 能够直接支持/v1 带版本的openai接口请求，使得应用返回正常，而不是404查询结果

期待的正确结果

No response

相关日志输出

No response

附加信息

No response

baixin513 commented 1 week ago

感谢反馈，API域名后面 加上/v1 就行了。 https://maxkb.cn/docs/user_manual/model/model/#112-vllm

image