search

chatchat-space / Langchain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain
Apache License 2.0
31.75k stars 5.54k forks source link

怎么让webui默认使用qwen2-vl-instruct #5037

Open CHNtentes opened 3 hours ago

CHNtentes commented 3 hours ago

尝试过在model_settings.yaml里配置default_llm，但运行chatchat init的时候还是会给我改回qwen 7b。

chatchat init 2024-10-28 11:55:21.198 | WARNING | chatchat.server.utils:get_default_llm:205 - default llm model qwen2-vl-instruct is not found in available llms, using qwen:7b instead

目前必须在webui启动后，在设置里手动改成qwen2-vl-instruct。每次都改很麻烦，是否有办法解决？

CHNtentes commented 3 hours ago

推理引擎用的是xinference，且确定在chatchat init前已经加载好模型