X-D-Lab / LangChain-ChatGLM-Webui

基于LangChain和ChatGLM-6B等系列LLM的针对本地知识库的自动问答
Apache License 2.0
3.14k stars 474 forks source link

无法加载Embedding model #98

Closed ymilv closed 1 year ago

ymilv commented 1 year ago

环境:windows 11 WSL2 huggingface模型 报错: 1,No sentence-transformers model found with name /mnt/e/LangChain-ChatGLM-Webui/models/text2vec-large-chinese. Creating a new one with MEAN pooling. 2,RuntimeError: Error in faiss::FileIOReader::FileIOReader(const char*) at /project/faiss/faiss/impl/io.cpp:67: Error: 'f' failed: could not open faiss_index/index.faiss for reading: No such file or directory

config.py文件:

init model config

init_llm = "ChatGLM-6B-int4" init_embedding_model = "text2vec-large"

model config

embedding_model_dict = { "ernie-tiny": "/mnt/e/LangChain-ChatGLM-Webui/models/ernie-3.0-nano-zh", "ernie-base": "/mnt/e/LangChain-ChatGLM-Webui/models/ernie-3.0-base-zh/", "ernie-medium": "/mnt/e/LangChain-ChatGLM-Webui/models/ernie-3.0-medium-zh", "ernie-xbase": "/mnt/e/LangChain-ChatGLM-Webui/models/ernie-3.0-xbase-zh", "text2vec-large": "/mnt/e/LangChain-ChatGLM-Webui/models/text2vec-large-chinese", 'simbert-base-chinese': '/mnt/e/LangChain-ChatGLM-Webui/models/simbert-base-chinese', 'paraphrase-multilingual-MiniLM-L12-v2': "/mnt/e/LangChain-ChatGLM-Webui/models/paraphrase-multilingual-MiniLM-L12-v2" }

llm_model_dict = { "chatglm": { "ChatGLM-6B": "/mnt/e/LangChain-ChatGLM-Webui/models/chatglm-6b", "ChatGLM-6B-int4": "/mnt/e/LangChain-ChatGLM-Webui/models/ChatGLM-6B-int4/", "ChatGLM-6B-int8": "/mnt/e/LangChain-ChatGLM-Webui/models/chatglm-6b-int8", "ChatGLM-6b-int4-qe": "/mnt/e/LangChain-ChatGLM-Webui/models/chatglm-6b-int4-qe" }, "belle": { "BELLE-LLaMA-Local": "/mnt/e/LangChain-ChatGLM-Webui/models/belle", }, "vicuna": { "Vicuna-Local": "/mnt/e/LangChain-ChatGLM-Webui/models/vicuna", } }

emiyadavid commented 1 year ago

这个好像得先随便上传一个txt或者md文件,让他先有一个知识库,生成faiss目录和index.faiss文件。他代码里不会判断index.faiss是否存在,统一直接去读这个文件,然后丢到chain里让llm回答。新项目默认没这个index.faiss文件,所以会报错。

thomas-yanxin commented 1 year ago

没点知识库文件向量化这个button

emiyadavid commented 1 year ago

好的,我已收到!

ymilv commented 1 year ago

这个好像得先随便上传一个txt或者md文件,让他先有一个知识库,生成faiss目录和index.faiss文件。他代码里不会判断index.faiss是否存在,统一直接去读这个文件,然后丢到chain里让llm回答。新项目默认没这个index.faiss文件,所以会报错。

好的,谢谢,我试一下