search

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.48k stars 4.69k forks source link

知识库查询慢 #1042

Closed JerryMoon closed 6 months ago

JerryMoon commented 7 months ago

例行检查

你的版本 4.6.9

问题描述 知识库数据不到1000条，但是每次请求查询知识库速度非常慢。看pg log实际的查询好像并没有很耗时，但是多条查询之间间隔的时间比较长。请教下可能是哪里出现了问题。

复现步骤 如下面两张图，会话开始请求时间是在19分28秒，但直到19分35秒才完成知识库查询。 pg log中相邻两次查询间隔时间比较长，不清楚在做什么耗时的事情。

VC20240321-173248 VC20240321-174500

预期结果

相关截图

c121914yu commented 7 months ago

用了问题补全？

JerryMoon commented 7 months ago

用了问题补全？

用了。是问题补全导致的吗？关了问题补全在4秒左右，这个是正常的吗，感觉也有点慢。

VC20240322-100635
c121914yu commented 7 months ago

用了问题补全？

用了。是问题补全导致的吗？关了问题补全在4秒左右，这个是正常的吗，感觉也有点慢。

VC20240322-100635

知识库搜索中可能包含的流程：

  1. 请求向量化API （可以手动插入数据，看看速度）
  2. 向量搜索 （数据库里直接测试sql）
  3. 全文检索 （搜索测试直接选择它来测）
  4. 问题补全 （可以单独测试问题补全模块的速度）
  5. 重排 （成功的时候，日志里会提示具体时间）

都可能导致慢

yangkl-ui commented 5 months ago

我的加了知识库之后响应要十多秒，检索知识库要7、8秒，好慢啊，怎么调

yoohhwz commented 5 months ago

用了问题补全？

用了。是问题补全导致的吗？关了问题补全在4秒左右，这个是正常的吗，感觉也有点慢。

VC20240322-100635

知识库搜索中可能包含的流程：

  1. 请求向量化API （可以手动插入数据，看看速度）
  2. 向量搜索 （数据库里直接测试sql）
  3. 全文检索 （搜索测试直接选择它来测）
  4. 问题补全 （可以单独测试问题补全模块的速度）
  5. 重排 （成功的时候，日志里会提示具体时间）

都可能导致慢

那这些有解决手段吗？ 因为感觉每个环节都是必不可少的优化

yoohhwz commented 4 months ago

我的加了知识库之后响应要十多秒，检索知识库要7、8秒，好慢啊，怎么调

怎么说 有解决眉目了吗

yangkl-ui commented 4 months ago

我换了向量模型m3e快很多了

略略略你略得有我快吗 @.***

---原始邮件--- 发件人: @.> 发送时间: 2024年5月28日(周二) 中午1:13 收件人: @.>; 抄送: @.**@.>; 主题: Re: [labring/FastGPT] 知识库查询慢 (Issue #1042)

我的加了知识库之后响应要十多秒，检索知识库要7、8秒，好慢啊，怎么调

怎么说 有解决眉目了吗

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

dockersky commented 3 months ago

确实慢，大家有解决方案吗？