本地部署回复上限不能超过2000 - Githubissues

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

18.1k stars 4.8k forks source link

本地部署回复上限不能超过2000 #1188

Closed HelloEveryonehh closed 6 months ago

HelloEveryonehh commented 7 months ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已完整查看过项目 README，以及项目文档
[x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

[ ] 公有云版本
[x] 私有部署版本, 具体版本号: V4.7

问题描述 本地部署fastgpt，通过one-api对接qwen-max和qwen-turbo，然后发现当回复上限设置超过2000时，会报错，2000以内则不会报错，报错如下我已经自行确认qwen-max和qwen-turbo的可接受上下文比我设置的要大，在faq中的对应原因与我的情况不符合。请作者看一下，非常感谢！ 预期结果 回复超过2000不报错 相关截图 报错截图: docker logs fastgpt截图: config.json：下面是one-api里面的截图，当发送报错的时候会出现如下情况:

HelloEveryonehh commented 7 months ago

补充一下，我这个是在高级编排的里面测试的

c121914yu commented 6 months ago

官方支持多少？

HelloEveryonehh commented 6 months ago

官方支持多少？

我测试发现，在正式的对话界面回答的内容要比在高级编排界面回答的内容要多，即使我都是设置的2000

HelloEveryonehh commented 6 months ago

@c121914yu 所以这是一个bug吗

c121914yu commented 6 months ago

@c121914yu 所以这是一个bug吗

不懂，没用过本地模型。本地模型，先自己测试通过再接入。本地模型能不能用，除了取决于模型参数，很大程度还取决于接口是否适配，有些接口写的很垃圾，参数鲁棒性很差，那也没啥用。

HelloEveryonehh commented 6 months ago

@c121914yu 所以这是一个bug吗

不懂，没用过本地模型。本地模型，先自己测试通过再接入。本地模型能不能用，除了取决于模型参数，很大程度还取决于接口是否适配，有些接口写的很垃圾，参数鲁棒性很差，那也没啥用。

这个是阿里的api服务，应该不算本地模型，国内还挺常见的，问题是在高级编排里面回答的内容很少，但是在正式的对话可以回答很多内容，看起来是个bug

c121914yu commented 6 months ago

直接测试就知道了，官方提示就最大2000