songquanpeng / one-api

OpenAI 接口管理 & 分发系统,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
https://openai.justsong.cn/
MIT License
16.18k stars 3.74k forks source link

Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字 #946

Open mouxangithub opened 5 months ago

mouxangithub commented 5 months ago

例行检查

问题描述 Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题,测试了几次一直都会复现,docker部署的,日志没看到有报错

复现步骤 Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题

预期结果 正常回复

相关截图 这是4 62e95e7e05a1409d4c356b6b9d480a5

这是3.5 ba04d0273e61db0af1538d508434257

如果没有的话,请删除此节。

LaoW7 commented 5 months ago

我也遇到了这个问题,我认为有可能是在部署gpt-4模型时过高的TPM导致的。使用默认的TPM不会出现这个问题。

LaoW7 commented 5 months ago

更正:经过测试,不是TPM的问题,貌似是模型的问题,gpt-4-vision-preview会出现这种问题,而更换到gpt-4-1106就不会出现这种问题。

NaMoCv commented 5 months ago

更正:经过测试,不是TPM的问题,貌似是模型的问题,gpt-4-vision-preview会出现这种问题,而更换到gpt-4-1106就不会出现这种问题。

gpt-4-1106有用过response_format={“type”: “json_object”}吗?好像耗时会长很多。

huelsgp27 commented 4 months ago

一样的问题

jackfong66 commented 4 months ago

这个问题解决了没

并且GPT4 不支持 stream