Open mouxangithub opened 5 months ago
我也遇到了这个问题,我认为有可能是在部署gpt-4模型时过高的TPM导致的。使用默认的TPM不会出现这个问题。
更正:经过测试,不是TPM的问题,貌似是模型的问题,gpt-4-vision-preview会出现这种问题,而更换到gpt-4-1106就不会出现这种问题。
更正:经过测试,不是TPM的问题,貌似是模型的问题,gpt-4-vision-preview会出现这种问题,而更换到gpt-4-1106就不会出现这种问题。
gpt-4-1106有用过response_format={“type”: “json_object”}吗?好像耗时会长很多。
一样的问题
这个问题解决了没
并且GPT4 不支持 stream
例行检查
问题描述 Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题,测试了几次一直都会复现,docker部署的,日志没看到有报错
复现步骤 Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题
预期结果 正常回复
相关截图 这是4![62e95e7e05a1409d4c356b6b9d480a5](https://github.com/songquanpeng/one-api/assets/48978046/f07d4c35-959f-480a-ad1d-9c9a95fb3e6b)
这是3.5![ba04d0273e61db0af1538d508434257](https://github.com/songquanpeng/one-api/assets/48978046/dade2903-aada-42f8-8a7e-47849f0f9523)
如果没有的话,请删除此节。