Closed qiangruoyu closed 2 weeks ago
@qiangruoyu 向量化和聚类分析依赖离线数据处理,没法在这个插件里自闭环,用户使用成本也比较高,我建议设计成支持用户预设一些领域,然后让LLM对问题进行领域分类,然后为请求设置property,然后提供其他插件使用这个property,例如缓存插件可以基于property分不同库,Proxy插件可以基于property路由到不同模型
@johnlanni 已修改
@qiangruoyu 可以不用配置dasahcope字段,只需定义服务即可,可以把网关自身作为一个服务(127.0.0.1),然后复用网关的AI Proxy能力,统一用openai协议对接多个不同大模型
@johnlanni 已修改,类别判断的时候访问自身的服务,并保留了可以更换分类llm的字段。
AI_intent
插件设计背景
随着大模型技术的广泛应用和普及,如何有效地减少tokens消耗并提升模型在特定领域和场景中的表现成为了当前AI发展的重要挑战。为了实现这些目标,目前的解决方案大多依赖于AI缓存插件和多种插件、agent的组合。然而,这些解决方案存在一些问题:
存储和搜索的效率:
现有的大模型请求往往为了降低tokens的使用,采用AI缓存插件,将问题和答案存储在向量数据库中。这些数据库由于存储容量的限制,通常需要拆分成多个子库进行管理。这导致了在向量搜索过程中,需要对所有子库进行全量搜索,从而增加了计算成本和搜索时间。此外,不同场景下的存储容量难以精确控制,可能导致资源的浪费或不足。
复杂的用户交互:
为了提升大模型在特定领域和场景下的效果,通常会针对不同场景或领域进行专项优化。这种优化通常通过多个不同的插件、agent、以及模型入口实现。然而,用户在实际应用过程中,往往需要面对多个“助手”,这不仅增加了用户学习和使用的难度,也降低了用户体验。随着这种小工具的数量持续增加,用户的依赖性和满意度可能进一步下降。
因此,设计一个AI插件,能够智能判断用户请求与某个领域或agent的功能契合度,并将请求自动路由到对应的服务,从而提升模型的应用效果和用户体验,显得尤为重要。
设计内容摘要
方案:
通过语义性质判断请求与领域、agent的契合度。通过访问较小的LLM模型或专有模型判断请求所属的场景类别。自动将请求分发到相应的服务中。
AI缓存插件根据场景预设不同的向量数据库大小,实现AI缓存插件在不同场景下的定量存储,有效管理不同场景下的存储容量。
多助手集成同一入口,优化用户体验。将多个不同的助手和插件整合到同一个入口,简化用户的操作步骤。通过智能调度,提升用户在应用过程中的便捷性和效率。提高用户对服务的依赖性和满意度,减少用户面对多个工具时的困扰。
实现方式:
通过以上步骤,该AI插件能够高效地管理和优化大模型在不同场景下的应用表现,提升用户对AI技术的信任和依赖性,同时有效降低tokens的使用,优化资源分配。增加网关的ai能力,加快网关由规则化到智能化的提升。
参数配置
示例: