使用vllm部署的qwen2，无法使用工具调用

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

Other

17.2k stars 4.61k forks source link

例行检查

[ x] 我已确认目前没有类似 issue
[ x] 我已完整查看过项目 README，以及项目文档
[ x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[ x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

[ ] 公有云版本
[x ] 私有部署版本, 具体版本号: 4.8.5

问题描述, 日志截图 0627

复现步骤 vllm版本为0.4.3，部署qwen2-72B-instruction，使用工具调用知识库问答，出现参数格式不符合 预期结果 支持工具调用 相关截图

labring / FastGPT

使用vllm部署的qwen2，无法使用工具调用 #1880