search

chatchat-space / Langchain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain
Apache License 2.0
32.04k stars 5.57k forks source link

支持Phind-CodeLlama-34B-v2模型部署吗？ #2558

Closed zhuhaifengaaa closed 10 months ago

zhuhaifengaaa commented 10 months ago

不是说支持fastchat所有模型吗？ Phind-CodeLlama-34B-v2这个可以吗？我部署了一下报错

dosubot[bot] commented 10 months ago

🤖

你好 @zhuhaifengaaa，很高兴认识你！我是Dosu，一个可以帮助你解决问题，回答问题，以及成为贡献者的机器人。在等待人类维护者的同时，我将在这里为你提供帮助。

根据我找到的相关问题加载本地模型时报 需要trust_model_code=True，Langchain-Chatchat应该是支持Phind-CodeLlama-34B-v2模型的。但是，如果在部署过程中遇到了报错，可能是因为需要在依赖的fschat库中加入trust_model_code=True这个参数。

这个参数不是在Langchain-Chatchat中加入的，而是在fschat库的源码中修改。你可以根据报错信息定位到库的位置并修改依赖的源代码。

如果你需要更详细的步骤或者在修改过程中遇到了问题，欢迎继续提问。

Sources

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

zRzRzRzRzRzRzR commented 10 months ago

fschat支持的列表里没有这模型