Open CH3CHO opened 2 weeks ago
在AI时代,对网关的需求已经远远超越了传统的路由和负载均衡功能,形成了AI网关的形态。AI网关可以为AI应用开发者提供便利,统一不同LLM提供商的API协议,并提供API编排、安全、稳定性和成本控制等扩展功能。
Higress是阿里云开源的云原生网关项目,基于Wasm插件的扩展能力,可以基于LLM Proxy插件对接不同的LLM提供商,同时支持AI Assistant插件帮助开发者快速构建RAG应用。
本项目希望在AI网关场景下实现基于向量相似度的LLM缓存结果召回插件。通过LLM提供商API(例如通义千问,moonshot,openai等)构建AI应用的场景,这个插件可以在保障结果质量的前提下,减少向LLM提供商API的请求数量,从而降低成本。
该插件需要实现以下基础能力:
在此基础上,要求插件的向量召回能力有较高的准确率和召回率。
项目产出要求
项目描述
在AI时代,对网关的需求已经远远超越了传统的路由和负载均衡功能,形成了AI网关的形态。AI网关可以为AI应用开发者提供便利,统一不同LLM提供商的API协议,并提供API编排、安全、稳定性和成本控制等扩展功能。
Higress是阿里云开源的云原生网关项目,基于Wasm插件的扩展能力,可以基于LLM Proxy插件对接不同的LLM提供商,同时支持AI Assistant插件帮助开发者快速构建RAG应用。
本项目希望在AI网关场景下实现基于向量相似度的LLM缓存结果召回插件。通过LLM提供商API(例如通义千问,moonshot,openai等)构建AI应用的场景,这个插件可以在保障结果质量的前提下,减少向LLM提供商API的请求数量,从而降低成本。
该插件需要实现以下基础能力:
在此基础上,要求插件的向量召回能力有较高的准确率和召回率。