search

X-D-Lab / LangChain-ChatGLM-Webui

基于LangChain和ChatGLM-6B等系列LLM的针对本地知识库的自动问答
Apache License 2.0
3.12k stars 469 forks source link

推理速度比较慢 #136

Closed Jingzhenzxz closed 9 months ago

Jingzhenzxz commented 9 months ago

很奇怪，同样的模型，不套Langchain-chatchat项目输出答案的速度就很快，套上后就很慢，请问这是什么原因？（尤其是CodeShell-7B-Chat模型，速度慢得完全不能用）我的机器的系统是centos7，GPU显存为22G。

zpczpc commented 9 months ago

我也遇到了最后怎么解决的

Jingzhenzxz commented 9 months ago

我也遇到了最后怎么解决的

我的CUDA版本太低了，导致项目用的CPU进行推理，升级一下CUDA就可以了。 另外我这个issue提错地方了，我用的是chatchat项目，不是这个项目。