是否支持为不同部分的模型配置不同的模型加载框架

chatchat-space / Langchain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain

Apache License 2.0

31.43k stars 5.48k forks source link

是否支持为不同部分的模型配置不同的模型加载框架 #4321

Closed wzjie closed 3 months ago

wzjie commented 3 months ago

最新的v0.3.0版本可以在_model_config.py的MODEL_PLATFORMS变量中为不同的模型配置不同的推理框架吗，比如为llm配置fastchat推理，为embedding model配置xference推理。

imClumsyPanda commented 3 months ago

支持