labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.45k stars 4.69k forks source link

应用等待llm api返回的超时时间可以通过配置文件和环境变量配置 #1133

Open aotsukiqx opened 6 months ago

aotsukiqx commented 6 months ago

例行检查

功能描述 目前在本地尝试超长上下文的场景,因为属于技术验证,资源优先,所以需要等到超过15分钟才能得到llm计算返回,希望能够通过环境变量更改全局超时时间。 应用场景 超长上下文推理计算 相关示例 本地使用了超过80k的token做文章内容单次总结,模型能够支持超200k的上下文,但是fastgpt会超时导致无法得到结果。 希望能够和其他在docker的环境变量设置的参数一样,进行设置。

SDAIer commented 3 weeks ago

请问本地模型如何处理的超长上下文 本地模型的上下文有个默认值如何更新的