search

songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
https://openai.justsong.cn/
MIT License
18.58k stars 4.2k forks source link

使用官方openai的流式调用方式，但模型返回的响应没有choice部分 #1278

Closed ejie2 closed 6 months ago

ejie2 commented 6 months ago

下面是代码中openai调用大模型的方式： 图片 然后是流式接收响应的过程： 图片 最终会导致以下报错： 图片

songquanpeng commented 6 months ago

用的哪一个渠道呢？

ejie2 commented 6 months ago

用的openai，日志显示如下： 图片

ejie2 commented 6 months ago

用fastgpt平台我试了一下是可以的，但是用one api存在问题

songquanpeng commented 6 months ago

OpenAI渠道是直接relay的，就是原样转发

ejie2 commented 6 months ago

日志上的显示是不是代表已经请求数据并且模型已经返回回应了呢

ejie2 commented 6 months ago

解决了，流式输出时第一个消息为空消息要跳过