songquanpeng / one-api

OpenAI 接口管理 & 分发系统,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
https://openai.justsong.cn/
MIT License
16.06k stars 3.73k forks source link

腾讯混元 的 模型重定向 似乎把模型搞反了 #1584

Closed miaowmint closed 1 day ago

miaowmint commented 3 days ago

例行检查

问题描述 模型重定向里的键是 请求体中的模型名称 值是要映射的模型名称

所以重定向应该是这么写的

{
  "hunyuan-lite": "hyl",
  "hunyuan-standard": "hys",
  "hunyuan-pro": "hyp"
}

但是在腾讯混元这里,重定向被搞反了

我直接请求 hunyuan-lite 模型 会给我重定向到 hyl

请求 hunyuan-lite 模型后日志显示 model ratio not found: hyl

当我把重定向整个反过来才正常

{
  "hyl": "hunyuan-lite",
  "hys": "hunyuan-standard",
  "hyp": "hunyuan-pro"
}

复现步骤

正常配置腾讯混元模型,配置了重定向

相关截图

image

image

image

image

image

image

QAbot-zh commented 2 days ago

模型重定向里的键是 请求体中的模型名称 值是要映射的模型名称

one-api 是用来响应用户请求的 这句话的理解是,用户发送请求里的模型名称为键,映射为本渠道能提供的模型

miaowmint commented 1 day ago

模型重定向里的键是 请求体中的模型名称 值是要映射的模型名称

one-api 是用来响应用户请求的 这句话的理解是,用户发送请求里的模型名称为键,映射为本渠道能提供的模型

好吧,但是神奇的是我最开始就是这么配置的,但是报错找不到模型,我才反过来用的,并且我整个0.6.6版本都是反过来用的,没什么问题

image

另外你看这个示例,我不太想得通,在我看来这个功能应该是有一个名称复杂的模型名,然后我想要简化它,比如gpt-3.5-turbo-0301我想给他简化成gpt-3.5-turbo,才使用这个功能

QAbot-zh commented 1 day ago

是,我理解你说的简化,我也是出于这个想法使用模型重定向功能的。从逻辑上讲,oneapi 首先获取的是用户的请求模型,然后映射为渠道支持的模型,所以前者为键,后者为值是合理的、也是方便程序实现的。 至于示例,有一种简单的解释,比如你的渠道只有gpt-3.5-turbo,但是你经过重定向,看起来可以提供“全版本”的3.5模型..