Closed Jie2GG closed 1 month ago
调用模型报错,自行检查模型
调用模型报错,自行检查模型
模型确认没有问题,xinference启动,使用 vllm 作为后端,实测其余的功能(工具调用,AI对话,关键词提取等)均正常,只有猜你想问接口报错。
可以直接看源码里的请求来模拟,就一小段提示词
可以直接看源码里的请求来模拟,就一小段提示词
直接请求 vllm 后端么?
可以直接看源码里的请求来模拟,就一小段提示词
直接请求 vllm 后端么?
先测 oneapi 再 vllm
@c121914yu 没有学过 ts,目前检索到的猜你想问的内容只有这些,这个是 prompt 是这个吗?
@c121914yu 我找到了 prompt,并且尝试构造了一个请求,OneAPI端有正常返回信息
例行检查
你的版本
问题描述, 日志截图 在简单应用打开猜你想问功能后,问答不生效。 HTTP响应:
返回内容
fastGPT日志:
复现步骤
预期结果 猜你想问功能正常
相关截图 简单应用配置:
OneAPI配置:
Xinference配置: