Vertex AI 调用api是否多了一个“-”？

MartialBE / one-hub

OpenAI 接口管理 & 分发系统，改自songquanpeng/one-api。支持更多模型，加入统计页面，完善非openai模型的函数调用。

https://one-hub.xiao5.info/

Apache License 2.0

1.13k stars 229 forks source link

Vertex AI 调用api是否多了一个“-”？ #298

Closed Silentely closed 3 months ago

Silentely commented 3 months ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已确认我已升级到最新版本
[x] 我已完整查看过项目 README，尤其是常见问题部分
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

问题描述 调用Vertex AI，测试提示请求上游地址错误，查看日志，对比官方提供的API地址发现多了一个“-”符号 复现步骤 配置好KEY，点击测试模型 预期结果 测试通过 相关截图

MartialBE commented 3 months ago

3377 commented 2 months ago

这里其他参数填什么，文档里没有写啊！

Silentely commented 2 months ago

这里其他参数填什么，文档里没有写啊！

填你对应的”Region|ProjectID“地区和项目ID

3377 commented 2 months ago

对应的文档地址在哪呀，好神奇，你们是怎么找到的。

Silentely commented 2 months ago

对应的文档地址在哪呀，好神奇，你们是怎么找到的。

没有对应的文档，截图里不是有写吗？你看细点

3377 commented 2 months ago

我填了一下，测速报错如下

3377 commented 2 months ago

这是你的截图啊，对应文档里没写要填这个啊，所以我就很好奇，这个到底咋调通的。。。https://github.com/MartialBE/one-hub/wiki/VertexAI

3377 commented 2 months ago

请教一下，这个Region是填对应的哪个啊，只要有配额的那个就行吗？还是

Silentely commented 2 months ago

请教一下，这个Region是填对应的哪个啊，只要有配额的那个就行吗？还是

你项目对应的地区，例如 us-east5|premium-xxxx-xxx

3377 commented 2 months ago

我特意去设置了一下区域，给对应的输入了，提示方便帮忙排错下吗？日志这么现实

3377 commented 2 months ago

这里额度也没问题

Silentely commented 2 months ago

我特意去设置了一下区域，给对应的输入了，提示方便帮忙排错下吗？日志这么现实

估计是你没有去开通对应的模型，文档里没有写明要自己去开对应的模型 https://cloud.google.com/vertex-ai/generative-ai/docs/partner-models/use-claude?hl=zh-cn#claude-3-5-sonnet

3377 commented 2 months ago

已成功，大佬厉害，这个文档真的是一言难尽。gcp的没法用3.5的吗

Silentely commented 2 months ago

已成功，大佬厉害，这个文档真的是一言难尽。gcp的没法用3.5的吗

可以用，一共4个模型，每个都要手动点击开通

3377 commented 2 months ago

没有文档，佩服你能弄出来。这个面板能禁用模型映射的原名称吗？类似NIO的这个功能。

Silentely commented 2 months ago

没有文档，佩服你能弄出来。这个面板能禁用模型映射的原名称吗？类似NIO的这个功能。

模型关系那一栏就是模型映射，你自己按照需求改，以下仅提供示例 { "claude-3-haiku": "claude-3-haiku-20240307", "claude-3-opus": "claude-3-opus-20240229", "claude-3-sonnet": "claude-3-sonnet-20240229", "claude-3.5-sonnet": "claude-3-5-sonnet-20240620" }

3377 commented 2 months ago

这个我了解，我的意思是能否隐藏原来的。

Silentely commented 2 months ago

这个我了解，我的意思是能否隐藏原来的。

不好意思这个没明白，如果是说渠道模型，那里你可以自己选择删除或者添加，不知道你说的是不是这个，或者是我没用过你说的这个功能，只能等作者来回复你

3377 commented 2 months ago

比如我的API里有你写的第一个claude-3-haiku-20240307模型，我通过映射 "claude-3-haiku": "claude-3-haiku-20240307", 改为了claude-3-haiku，那此时我通过第三方调用的时候我可以隐藏掉claude-3-haiku-20240307展示在使用者获取的模型列表里。

Silentely commented 2 months ago

比如我的API里有你写的第一个claude-3-haiku-20240307模型，我通过映射 "claude-3-haiku": "claude-3-haiku-20240307", 改为了claude-3-haiku，那此时我通过第三方调用的时候我可以隐藏掉claude-3-haiku-20240307展示在使用者获取的模型列表里。

你意思是第三方通过比如api.xxx.xx/model获取的模型列表里隐藏掉这个吗？如果是这个的话我没试过，我只试过在web项目里直接增加模型，没有试过获取对应的模型列表

3377 commented 2 months ago

好的，了解了，再次感谢你的解答。