songquanpeng / one-api

OpenAI 接口管理 & 分发系统,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
https://openai.justsong.cn/
MIT License
18.22k stars 4.12k forks source link

希望管理员或句具有权限的用户可以在访问时指定分组进行负载均衡 #1585

Open maxadc opened 3 months ago

maxadc commented 3 months ago

例行检查

功能描述 我看了一下,我觉得 Authorization: Bearer ONE_API_KEY-CHANNEL_ID 如果可以指定分组的话。就从该分组进行负载均衡就可以满足需求了。如果可以,可以考虑允许传多个分组,在多个分组中随机选取。 这样使用比较方便,适合复杂场景。 应用场景 我有多个模型,发现有的模型对某个任务响应不是太友好。大概率 某任务 A组模型完成效果更好。 B任务,B组模型效果更好,这个时候,也是需要负载均衡的。 而目前没有这个功能。如果是多个用户+多个分组来解决,那何必用 oen-api,我自己写一个简单的代码来管理不更简单?