search

alibaba / higress

Cloud Native API Gateway | 云原生API网关
https://higress.io
Apache License 2.0
2.51k stars 409 forks source link

AI 代理 Wasm 插件对接 Google Gemini/Gemini Flash #947

Open CH3CHO opened 1 month ago

CH3CHO commented 1 month ago

https://developers.generativeai.google/

UniDra001 commented 1 month ago

我想尝试下这个issue~

UniDra001 commented 1 month ago

您好，我在开发的时候遇到一个问题，gemini的模型选择和api_key都是放在请求url中的，但是在wasm代理的时候只能在ProcessRequestBody获取body绑定的model类型，这样的话就没法修改请求url，请问有解决方法吗？ gemini API

CH3CHO commented 1 month ago

您好，我在开发的时候遇到一个问题，gemini的模型选择和api_key都是放在请求url中的，但是在wasm代理的时候只能在ProcessRequestBody获取body绑定的model类型，这样的话就没法修改请求url，请问有解决方法吗？ gemini API

1.4.0 里是可以在 ProcessRequestBody 里修改 header 的。可以参考一下 qwen 的实现和这个 PR https://github.com/alibaba/higress/pull/1005 。

UniDra001 commented 1 month ago

好的，另外还想问下，开发wsam插件有本地调试的方案吗？

CH3CHO commented 1 month ago

好的，另外还想问下，开发wsam插件有本地调试的方案吗？

看这个：https://higress.io/zh-cn/docs/user/wasm-go

UniDra001 commented 1 month ago

嗯嗯这个我看过了，我想问的是支持单步调试吗？

CH3CHO commented 1 month ago

嗯嗯这个我看过了，我想问的是支持单步调试吗？

这个应该还不支持的。

UniDra001 commented 1 month ago

请问有什么办法能看到网关发送给LLM服务商的请求吗？我这边显示请求格式错误，但是不好调试排错

CH3CHO commented 1 month ago

请问有什么办法能看到网关发送给LLM服务商的请求吗？我这边显示请求格式错误，但是不好调试排错

打日志就行了，在gateway容器里看