在模型加载以及知识库上传遇到了各种各样的问题

[podanshu]

代码是今天pull的，设备是一机双卡（3090），我这边的网络从HF上下载，要比启智快很多，启智下载不动，所以没有采用作者提供的非chatglm模型： 1、这是从hf上down下来的vicuna-13b-1.1加载后的报错（警告），页面显示加载不成功

• This IS expected if you are initializing LlamaModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).
• This IS NOT expected if you are initializing LlamaModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).

2、从hf上down下来的BELLE-LLaMA-13B-2M-enc页面显示加载失败，后台无提示； 用我自己微调的vicuna-13b，加载成功，但有提示：You are probably using the old Vicuna-v0 model, which will generate unexpected results with the current fschat. 推理显存爆了torch.cuda.OutOfMemoryError: CUDA out of memory.

3、从新选择chatglm_6b,模型自动下载的那种，加载成功，推理也成功，上传doc文件报：ocx.opc.exceptions.PackageNotFoundError: Package not found at xxx.doc 于是尝试上传UTF-8的txt,结果UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position

4、另外，在config.py修改init_llm 和 init_embedding_model 好像只有界面生效，模型并未加载，只在手动选择后才能加载模型。

感谢作者提供这么好的项目，烦请百忙之中抽空帮忙看看，是不是我哪里配置不对，谢谢!!!

[thomas-yanxin]

对于1和2，我不知道您有没有合并模型？ 对于3，为LangChain的bug 对于4，init_llm和init_embedding_model为初始模型加载的选择，“界面生效，模型未加载”不太明白您的意思。

感谢关注！欢迎持续提问！

[podanshu]

1、2所指都是合并后的模型； 4、是改了配置文件，后，下拉框中的确显示的是修改之后的模型，但模型并没有在启动过程中加载成功，只有重新选择后才能能加载

[thomas-yanxin]

对于1,2，个人建议先单独地推理一下模型看是否能跑通，再把他们放进本项目中试试看，方便定位问题。

对于4， 您是希望修改初始模型啊还是希望使用后修改模型啊？我依旧没有明白您的意思。

解释一下逻辑，init_llm和init_embedding_model为初始模型加载的选择，指的是您在执行app.py的时候就将两个模型加载好了，避免用户输入query后再加载模型的时间。

若您使用的过程中需要切换模型，您在界面选择相应模型后点击重新加载模型，重新加载模型这一步是在加载您选择的新的模型，避免加载模型的时间移到输入输出问题的过程中。

[podanshu]

对于1,2，个人建议先单独地推理一下模型看是否能跑通，再把他们放进本项目中试试看，方便定位问题。

对于4， 您是希望修改初始模型啊还是希望使用后修改模型啊？我依旧没有明白您的意思。

解释一下逻辑，init_llm和init_embedding_model为初始模型加载的选择，指的是您在执行app.py的时候就将两个模型加载好了，避免用户输入query后再加载模型的时间。

若您使用的过程中需要切换模型，您在界面选择相应模型后点击重新加载模型，重新加载模型这一步是在加载您选择的新的模型，避免加载模型的时间移到输入输出问题的过程中。

我再解释一下第四点，按照你的逻辑 ”init_llm和init_embedding_model为初始模型加载的选择，指的是您在执行app.py的时候就将两个模型加载好了，避免用户输入query后再加载模型的时间“ 这个逻辑没有成功，可明白？？？