Closed miaowmint closed 1 day ago
模型重定向里的键是 请求体中的模型名称 值是要映射的模型名称
one-api 是用来响应用户请求的 这句话的理解是,用户发送请求里的模型名称为键,映射为本渠道能提供的模型
模型重定向里的键是 请求体中的模型名称 值是要映射的模型名称
one-api 是用来响应用户请求的 这句话的理解是,用户发送请求里的模型名称为键,映射为本渠道能提供的模型
好吧,但是神奇的是我最开始就是这么配置的,但是报错找不到模型,我才反过来用的,并且我整个0.6.6版本都是反过来用的,没什么问题
另外你看这个示例,我不太想得通,在我看来这个功能应该是有一个名称复杂的模型名,然后我想要简化它,比如gpt-3.5-turbo-0301我想给他简化成gpt-3.5-turbo,才使用这个功能
是,我理解你说的简化,我也是出于这个想法使用模型重定向功能的。从逻辑上讲,oneapi 首先获取的是用户的请求模型,然后映射为渠道支持的模型,所以前者为键,后者为值是合理的、也是方便程序实现的。 至于示例,有一种简单的解释,比如你的渠道只有gpt-3.5-turbo,但是你经过重定向,看起来可以提供“全版本”的3.5模型..
例行检查
问题描述 模型重定向里的键是 请求体中的模型名称 值是要映射的模型名称
所以重定向应该是这么写的
但是在腾讯混元这里,重定向被搞反了
我直接请求 hunyuan-lite 模型 会给我重定向到 hyl
请求 hunyuan-lite 模型后日志显示
model ratio not found: hyl
当我把重定向整个反过来才正常
复现步骤
正常配置腾讯混元模型,配置了重定向
相关截图