alibaba / higress

🤖 AI Gateway | AI Native API Gateway
https://higress.io
Apache License 2.0
3.57k stars 532 forks source link

[HEP] AI 代理 Wasm 插件对接更多大模型服务供应商 #940

Open CH3CHO opened 6 months ago

CH3CHO commented 6 months ago

背景

最近 Higress 上线了一个新的 Wasm 插件,AI 代理(ai-proxy),支持对接各类 AI 大模型服务提供商,并以统一的 OpenAI 接口契约对外提供服务。目前已支持 OpenAI、Azure OpenAI、通义千问(Qwen)和月之暗面(Moonshot)。

为了进一步扩展该插件的功能,我们需要对接更多的 AI 大模型服务提供商。欢迎大家积极参与本项任务。感兴趣的同学可以在对应的子 issue 下留言认领。

待对接服务提供商

参考文档

hanxiantao commented 6 months ago

百度文心一言的对接,我这边来开发吧 麻烦帮忙分配下 @CH3CHO

CH3CHO commented 6 months ago

百度文心一言的对接,我这边来开发吧 麻烦帮忙分配下 @CH3CHO

麻烦在 https://github.com/alibaba/higress/issues/941 下面评论,我会进行分配。

xychen5 commented 6 months ago

腾讯混元大模型(链接)的对接,能让我试试吗? @CH3CHO

CH3CHO commented 6 months ago

腾讯混元大模型(链接)的对接,能让我试试吗? @CH3CHO

麻烦在 https://github.com/alibaba/higress/issues/944 下面评论。我会进行分配。

zxxsong commented 6 months ago

字节豆包大模型的对接,我可以试下吗? @CH3CHO

CH3CHO commented 6 months ago

字节豆包大模型的对接,我可以试下吗? @CH3CHO

麻烦直接在 https://github.com/alibaba/higress/issues/954 下留言,以便分配任务。谢谢!