Open CHNtentes opened 3 hours ago
尝试过在model_settings.yaml里配置default_llm,但运行chatchat init的时候还是会给我改回qwen 7b。
chatchat init 2024-10-28 11:55:21.198 | WARNING | chatchat.server.utils:get_default_llm:205 - default llm model qwen2-vl-instruct is not found in available llms, using qwen:7b instead
目前必须在webui启动后,在设置里手动改成qwen2-vl-instruct。每次都改很麻烦,是否有办法解决?
推理引擎用的是xinference,且确定在chatchat init前已经加载好模型
尝试过在model_settings.yaml里配置default_llm,但运行chatchat init的时候还是会给我改回qwen 7b。
chatchat init 2024-10-28 11:55:21.198 | WARNING | chatchat.server.utils:get_default_llm:205 - default llm model qwen2-vl-instruct is not found in available llms, using qwen:7b instead
目前必须在webui启动后,在设置里手动改成qwen2-vl-instruct。每次都改很麻烦,是否有办法解决?