流输出无法正确报错 - Githubissues

songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

https://openai.justsong.cn/

MIT License

16.06k stars 3.73k forks source link

流输出无法正确报错 #1455

Open c121914yu opened 1 month ago

c121914yu commented 1 month ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已确认我已升级到最新版本
[x] 我已完整查看过项目 README，尤其是常见问题部分
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

问题描述 近期发现很多用户反馈 qwen 会提示“返回内容为空或接口错误”，这个问题是因为我捕获了流输出的内容，检测到没有任何响应内容提示的。测试了下发现了是因为 qwen 的max_tokens最大只有2000，很多人配置时候没有注意。不过这个错误，在非 stream 模式下非常明显。

复现步骤 设置2个post请求。max_token设置超过2000，stream分别为true和false

预期结果 stream=true的请求也会直接400报错，并抛出对应信息。

相关截图