[Bug]: 本地部署的模型切换时，如果不等模型A分配到显卡上就切换另外一个模型B，会导致显示B而实际上调用A - Githubissues

GaiZhenbiao / ChuanhuChatGPT

GUI for ChatGPT API and many LLMs. Supports agents, file-based QA, GPT finetuning and query with web search. All with a neat UI.

https://huggingface.co/spaces/JohnSmith9982/ChuanhuChatGPT

GNU General Public License v3.0

15.07k stars 2.28k forks source link

[Bug]: 本地部署的模型切换时，如果不等模型A分配到显卡上就切换另外一个模型B，会导致显示B而实际上调用A #1126

Open Patrick-Ni opened 2 months ago

Patrick-Ni commented 2 months ago

这个bug是否已存在现有issue了？

[X] 我确认没有已有issue，且已阅读常见问题。

错误表现

本地部署的模型切换时，如果不等模型A分配到显卡上就切换另外一个模型B，会导致显示B而实际上调用A 是否可以在部署模型时禁止用户切换模型？或者放弃当前的部署，转而部署新的模型

复现操作

1.正常完成本地部署 2.切换qwen-7b-chat模型时，没有等待模型分配到显卡上就切换模型qwen-14b-chat 3.实际回复时仍然调用的是qwen-7b-chat

错误日志

No response

运行环境

OS: Centos 8
Browser: chrome
Gradio version: 3.43.2
Python version: 3.10

帮助解决

[X] 我愿意协助解决！

补充说明

No response