Closed yebanliuying closed 1 month ago
v0.15.2
v0.15.1版本支持Qwen2.5-72B-ins的工具调用,但不支持流式返回
v0.15.2
v0.15.1版本支持Qwen2.5-72B-ins的工具调用,但不支持流式返回
为什么我看v0.15.1和v0.15.2的源码都是不支持工具调用的呢?qwen2.5-7b-instruct在v0.15.2还是我改了下源码才能调,但稍微复杂点的工具还是会输出token格式不正确。
15.3可以了吗,还没试过
System Info / 系統信息
ubuntu22
Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?
Version info / 版本信息
v0.15.2
The command used to start Xinference / 用以启动 xinference 的命令
正常启动
Reproduction / 复现过程
openai.BadRequestError: Error code: 400 - {'detail': "Only ['qwen1.5-chat', 'qwen1.5-moe-chat', 'qwen2-instruct', 'qwen2-moe-instruct', 'glm4-chat', 'glm4-chat-1m'] support tool calls"}
Expected behavior / 期待表现
尽快支持qwen2.5的tool calls