search

chatchat-space / Langchain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain
Apache License 2.0
32.29k stars 5.6k forks source link

本地知识内容数量限制？ #129

Closed githubBingoChen closed 1 year ago

githubBingoChen commented 1 year ago

本地知识文件类型是txt，超过5条以上的数据，提问的时候就爆显存了。

githubBingoChen commented 1 year ago

https://modelscope.cn/datasets/simpleai/HC3-Chinese/dataPeview 知识文件参考上面链接的baike数据 image

imClumsyPanda commented 1 year ago

如果单句长度过长，输入给llm时可能引起大量显存占用，可以考虑以下方式解决：

1 调整匹配上下文数量 top-k 2 调整分句方式，使单句长度更短