OpenAI 接口管理 & 分发系统,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
例行检查
问题描述 sealos部署,qwen-long模型,需要稍长时间的回答很容易被截断,报:finish_reason: null 考虑能否自定义改非steam输出,或者是否在qwen-long模型的兼容上存在问题 oneapi日志:[SYS] 2024/06/11 - 10:18:59 | batch update finished [GIN] 2024/06/11 - 10:19:05 | 2024061110183013490583053930793 | 200 | 35.366610817s | 101.126.13.246 | POST /v1/chat/completions [INFO] 2024/06/11 - 10:19:05 | 2024061110183013490583053930793 | record consume log: userId=1, channelId=2, promptTokens=86688, completionTokens=392, modelName=qwen-long, tokenName=timai, quota=124403, content=模型倍率 1.43,分组倍率 1.00,补全倍率 1.00 [SYS] 2024/06/11 - 10:19:59 | batch update started [SYS] 2024/06/11 - 10:19:59 | batch update finished
复现步骤
预期结果
相关截图![截屏2024-06-11 18 21 08](https://github.com/songquanpeng/one-api/assets/147218308/169f489c-010e-4146-84c7-07517b928a09)