X-D-Lab / LangChain-ChatGLM-Webui

基于LangChain和ChatGLM-6B等系列LLM的针对本地知识库的自动问答
Apache License 2.0
3.14k stars 474 forks source link

求助模型加载失败 #89

Closed wongwubin closed 1 year ago

wongwubin commented 1 year ago

Dear all

我把代码clone下来后,开始运行都比较顺利,能够下载模型并且可以进行全部的功能操作。 可惜在用了几天之后,突然在启动服务时就不加载模型了。 控制台上也没有任何信息输出,不知道是什么原因,而且本地也没改动过任何环境和代码。

我用debug模式跟踪了一下,貌似在启动时加载embedding模型报错

    self.embeddings = HuggingFaceEmbeddings(
        model_name=embedding_model_dict[embedding_model], )

单步调试到这里发生错误,模型文件都在相应位置

MODEL_CACHE_PATH = /home/xxxxxxx/xxxxxx/langchain_chatllm/LangChain-ChatGLM-Webui/model_cache embeddings model_name = GanymedeNil/text2vec-base-chinese

image

我没有找到任何debug信息输出, 相关信息的确挺少,能否请大佬帮忙看看会是什么问题导致,谢谢!

hanwsf commented 1 year ago

self.embeddings = HuggingFaceEmbeddings( model_name=embedding_model_dict[embedding_model], cache_folder=os.path.join(MODEL_CACHE_PATH,embedding_model_dict[embedding_model])) 这里更改可以指向已下载的模型

robertoding commented 1 year ago

如果模型已经下载到本地,model_name直接用模型目录的路径就可以加载了 cache_folder = os.path.join(MODEL_CACHE_PATH,embedding_model_dict[embedding_model]) self.embeddings = HuggingFaceEmbeddings(model_name=cache_folder)