search

X-D-Lab / LangChain-ChatGLM-Webui

基于LangChain和ChatGLM-6B等系列LLM的针对本地知识库的自动问答
Apache License 2.0
3.14k stars 474 forks source link

ubuntu18系统下出现无法识别本地下载好的6b，int8模型，可以识别int4 #60

Open winie-hy opened 1 year ago

winie-hy commented 1 year ago

当加载int4的时候正常 3e4ded192fcddfcc613fbb9fd7bad64 但是切换到6b模型的时候却 ad80f3775bacb3724aa939c1005595d 配置文件如下 4ae86e0d5a6afd789f618c31e0a9108 切换6b模型的时候没有错误日志产生 3583b6e15a34ea08945701e0eed3854 3090系22g显存，cuda11.7，python3.10