Qwen2.5 相关模型回复异常 - Githubissues

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

18.29k stars 4.84k forks source link

Qwen2.5 相关模型回复异常 #2983

Closed rlyohh closed 2 weeks ago

rlyohh commented 3 weeks ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已完整查看过项目 README，以及项目文档
[x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本 fastgpt：4.8.11-fix ollama：0.3.13 oneapi：0.6.8

[ ] 公有云版本
[x] 私有部署版本, 具体版本号:

问题描述, 日志截图 qwen2:7b、qwen2:1.5b、qwen2.5:7b、qwen2.5:3b、qwen2.5:1.5b

gemma2:9b

命令行运行截图

复现步骤

预期结果 通义千问相关模型回复正常

相关截图

c121914yu commented 3 weeks ago

不应该提给千问么

rlyohh commented 3 weeks ago

FastGPT版本4.8.10的时候是正常的，近期升级了之后发现了异常

c121914yu commented 2 weeks ago

FastGPT版本4.8.10的时候是正常的，近期升级了之后发现了异常

那你自己 debug 看看提示词啥的好了，其他模型都正常，看不出啥问题，那就肯定是 qwen 有问题了。

yixiuquan commented 2 weeks ago

把oneapi 换成0.6.7 就好了据说是oneapi 0.6.8这个版本不支持ollama 的stream导致的

rlyohh commented 2 weeks ago

非常感谢两位 @c121914yu @yixiuquan 问题已经解决，降低 one-api 的版本到 v0.6.7 之后即可。