wenda-LLM / wenda

闻达:一个LLM调用平台。目标为针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.23k stars 810 forks source link

每次到“正在搜索XX文件”时,搜索完第四个文件就开始总结了,无论参数怎么设置 #474

Open gxandys opened 1 year ago

gxandys commented 1 year ago

无论“最大抽取数量”和strategy参数怎么设置,(例如我设置为9),每次都搜完第四个文件就开始总结。但回答框下是能列出来9个文件的。不知道是怎么回事。

gxandys commented 1 year ago

QQ图片20230809170432

QQ图片20230809170447 看显存变化也是加载了四个文件,总结后就释放了。参数管理里的max_length调到一两万也没用。

gxandys commented 1 year ago

发现点规律: QQ图片20230809174554

Sowhat007 commented 1 year ago

librarys里面的对应的最大抽取数量也要改。比如我就是用的rtst,在library和librarys下面的rtst的最大抽取数量都改大: library: strategy: "calc:2 rtst:8 agents:0"

库参数,每组参数间用空格分隔,冒号前为知识库类型,后为抽取数量。

知识库类型:

bing cn.bing搜索,仅国内可用,目前处于服务降级状态

sogowx sogo微信公众号搜索,可配合相应auto实现全文内容分析

fess fess搜索引擎

rtst 支持实时生成的sentence_transformers

remote 调用远程闻达知识库,用于集群化部署

kg 知识图谱,暂未启用

特殊库:

mix 根据参数进行多知识库融合

agents 提供网络资源代理,没有知识库查找功能,所以数量为0

count: 11

最大抽取数量(所有知识库总和)

step: 2

知识库默认上下文步长

librarys: ...... rtst: count: 8

最大抽取数量

  #   backend: Annoy
  size: 20
  #分块大小"
  overlap: 0
  #分块重叠长度
  # model_path: "http://127.0.0.1:8000/v1" #在线embedding
  #model_path: "/data/liaoji/text2vec-large-chinese"
  model_path: "/data/liaoji/models/m3e-base"
  #向量模型存储路径
  device: cuda
  #embedding运行设备
gxandys commented 1 year ago

count: 11

最大抽取数量

这个当时就也改大了。