songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

https://openai.justsong.cn/

MIT License

17.91k stars 4.06k forks source link

求兼容 Azure 的 Cloudflare AI Gateway 代理能力 #1414

Open LronDC opened 4 months ago

LronDC commented 4 months ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已确认我已升级到最新版本
[x] 我已完整查看过项目 README，已确定现有版本无法满足需求
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

功能描述 它里面提供了一些服务商的网关代理

经过代理后的地址会有变化，比如 Azure OpenAI

应用场景

希望将来可以兼容 cloudflare 的 ai 网关，目前是免费的这个网关

BSIIIO commented 4 months ago

将AI gateway的地址填到“渠道API地址”里就行

LronDC commented 4 months ago

将AI gateway的地址填到“渠道API地址”里就行

~~牛的我看漏了我试试~~ 确认了下，现在兼容的是 openai Cloudflare ai gateway，想求一个 Azure 的

LronDC commented 3 months ago

1417 我可以来实现

crazygo commented 1 month ago

@LronDC 我测试了，在 AZURE_OPENAI_ENDPOINT 中填写这样的地址是可以支持的 https://gateway.ai.cloudflare.com/v1/xxx/xxx/azure-openai/{instance id} CleanShot 2024-08-10 at 22 33 50@2x

crazygo commented 1 month ago

另外是否考虑把这样的 base url 能力开放给所有的模型呢？比如现在的 vertex 和 gemini 还没有这样的设计