labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.44k stars 4.69k forks source link

fastgpt调用ollama的qwen2.5:3b提示失败,oneapi测试正常,工作流调试也正常 #2929

Open yixiuquan opened 2 days ago

yixiuquan commented 2 days ago

例行检查

你的版本 FastGpt V4.8.11,oneapi 0.6.8。ubuntu docker 安装的ollama,ollama运行的qwen2.5:3b。

问题描述, 日志截图 fastgpt调用ollama的qwen2.5:3b提示失败,而oneapi测试正常,工作流调试也正常 复现步骤 1、oneapi中添加qwen2.5:3b的渠道 2、fastgpt中config.local.json中增加qwen2.5:3b的模型配置 3、创建应用、工作流并使用qwen2.5:3b 4、应用测试聊天报错LLM model response empty 5、工作流调试一步步走,可以正常走通 预期结果 都应该调用走通 相关截图 工作流调用成功: image image oneapi调用成功: image fastgpt config.local.json截图: image fastgpt调用失败截图: image fastgpt调用失败时oneapi截图: image fastgpt调用ollama报错后台日志: image 工作流调试调用成功fastgpt后台日志: image 工作流调试调用成功oneapi日志: 1729045311067 工作流调试调用成功 image

c121914yu commented 2 days ago

文档里教程的测试结果呢?

c121914yu commented 2 days ago
image

先根据文档测试完,根据你的结果,明显就是部署时候,stream 模式有问题