Azure OpenAI gpt-35-turbo-16k 渠道检测404

songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

https://openai.justsong.cn/

MIT License

15.94k stars 3.69k forks source link

Azure OpenAI gpt-35-turbo-16k 渠道检测404 #1190

Open yuanzhiwei opened 3 months ago

yuanzhiwei commented 3 months ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已确认我已升级到最新版本
[x] 我已完整查看过项目 README，尤其是常见问题部分
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

问题描述 Azure 上, 我已经将模型名和部署名配置成一样 gpt-35-turbo-16k , 但是无法成功 , 我发现渠道配置的时候只能选gpt-3.5-turbo-16k, 我应该怎么配置 , 是渠道模型名跟Azure上不一致导致的问题吗? 复现步骤

PasiKami commented 3 months ago

不要自定义模型, 用gpt-3.5-turbo-16k就可以了

LronDC commented 2 months ago

不要自定义模型, 用gpt-3.5-turbo-16k就可以了

没理解，没看到用自定义模型啊，我也是这个情况，也没有使用自定义模型

并且试过重定向

yangdspig commented 2 months ago

我也发现这个问题，如何解决？

songquanpeng commented 2 months ago

之后会专门针对azure的配置问题做优化，需要时间处理

henryhu55 commented 1 month ago

之后会专门针对azure的配置问题做优化，需要时间处理

这个问题的根本原因是，在azure部署中，部署名只能是gpt-35-xxx, 中间不能带点号，但是one的默认模型名都是带点号的，比如gpt-3.5-turbo, gpt-3.5-turbo-0125, 等等。在api调用的时候one内部应该是把点号去掉了，所以可以请求成功。但是测试的时候，如果只有gpt-3.5-turbo-0125，或者 gpt-3.5-turbo-16k, 这个时候去请求azure 会报404，应该是没有去掉点号的原因。因为使用自定义模型不带点号gpt-35-turbo-0125的时候可以测试成功。这个测试时候去掉点号，好像只对gpt-3.5-turbo做了处理，其他版本都没有处理。需要加上，就是所有带后缀类型的3.5中间的点号在测试的时候也都需要把中间的点号去掉请求，否则就会404。