wenda-LLM / wenda

闻达:一个LLM调用平台。目标为针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.24k stars 810 forks source link

向量数据库设置cpu运行不起作用,修改plugins/zhishiku_rtst.py才解决,是否可以优化一下 #464

Open shawnlihst opened 1 year ago

shawnlihst commented 1 year ago

问题: 在无显卡机器上,config.yml中指定rtst向量数据为cpu运行。

rtst:

  count: 3
  #最大抽取数量
  #   backend: Annoy
  size: 20
  #分块大小"
  overlap: 0
  #分块重叠长度
  # model_path: "http://127.0.0.1:8000/v1" #在线embedding
  model_path: "model/m3e-base"
  #向量模型存储路径
  device: cpu
  #embedding运行设备

运行看似跑起来了,但是不论查询还是上传都失败,上传提示无NVIDIA设备。

解决: 修改了plugins/zhishiku_rtst.py 第94行: model_path, device="cuda") 改为 model_path, device="cpu")