OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
igophper
commented
3 months ago
例行检查
问题描述 用最新openai lib调用one-api服务，智谱glm-4模型。 采用流式回答stream=True； 发现只收到部分响应内容，就被截断。 而one-api日志页面可以查看到相应请求的usage数据。 说明zhipu到one-api这段是正常的（否则取不到usage） 猜测：是不是请求方到one-api的streaming连接断开。
复现步骤 偶然连续几个请求出现这种情况。 （请求参数一致）
预期结果 完整返回stream响应内容。