labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
18.65k stars 4.92k forks source link

访问xinference 部署的本地模型oneapi 报model ratio not found 的错误 #3166

Closed zjx111234 closed 2 weeks ago

zjx111234 commented 2 weeks ago

例行检查

你的版本

问题描述, 日志截图 使用 xinference 部署的本地模型 qwen2-instruct 模型在 oneapi 上可以访问

image

在 fastgpt 上给本地部署的模型发消息没有回复,访问 oneapi 的 openai 接口是正常的

image

这个是 one api 的日志 image 以下是 fastgpt 报错日志 image

以下是config.json 的配置 image

复现步骤

预期结果

相关截图