GaiZhenbiao / ChuanhuChatGPT

GUI for ChatGPT API and many LLMs. Supports agents, file-based QA, GPT finetuning and query with web search. All with a neat UI.
https://huggingface.co/spaces/JohnSmith9982/ChuanhuChatGPT
GNU General Public License v3.0
15.23k stars 2.29k forks source link

[本地部署]: ollama serve +川虎部署失败 #1084

Open taozhiyuai opened 7 months ago

taozhiyuai commented 7 months ago

是否已存在现有反馈与解答?

是否是一个代理配置相关的疑问?

错误描述

不能推理

截屏2024-03-26 09 43 16 截屏2024-03-26 09 43 23

复现操作

  1. 模型是qwen:14b-chat-v1.5-fp16
  2. 运行ollama serve 截屏2024-03-26 09 40 39

3.川虎配置文件设置了 "openai_api_key": "ollama", "extra_models": ["qwen:14b-chat-v1.5-fp16"], "openai_api_base": "http://localhost:11434/v1",

错误日志

No response

运行环境

- OS: macOS
- Browser: safari
- Gradio version: 
- Python version:

补充说明

No response

taozhiyuai commented 7 months ago

模型列表点击我添加的qwen:14b-chat-v1.5-fp16, 也不能选择

Keldos-Li commented 7 months ago

"openai_api_key"设置为openai,api base设置为你的本地api地址,模型选择时选择gpt系列的模型,不要添加新的模型

taozhiyuai commented 7 months ago

"openai_api_key"设置为openai,api base设置为你的本地api地址,模型选择时选择gpt系列的模型,不要添加新的模型

截屏2024-03-26 10 39 51

lm studio像你说的操作可以.换成ollama server 就出现如图错误

taozhiyuai commented 7 months ago

附上我的json config.json

"openai_api_key": "ollama", "default_model": "GPT3.5 Turbo", // 默认模型 "openai_api_base": "http://localhost:11434/v1",

下面的注释掉了 // "available_models": ["GPT3.5 Turbo", "GPT4 Turbo", "GPT4 Vision"], // 可用的模型列表,将覆盖默认的可用模型列表 // "extra_models": ["模型名称3", "模型名称4", ...], // 额外的模型,将添加到可用的模型列表之后

taozhiyuai commented 7 months ago

"openai_api_key"设置为openai,api base设置为你的本地api地址,模型选择时选择gpt系列的模型,不要添加新的模型

试了很多次,总是如图错误.请问怎么办.

GaiZhenbiao commented 7 months ago

ollama 应该在模型选单选 ollama

taozhiyuai commented 7 months ago

ollama 应该在模型选单选 ollama

不太明白什么意思,应该如何操作?麻烦介绍清楚点.谢谢. @GaiZhenbiao

我刚才 又确认了一下.在LM STUDIO开API SERVER, 可以改API和BASE, 不管MODEL可以推理. 但是用OLLAMA后, 相同的修改配置方法, 却不可以推理.

taozhiyuai commented 7 months ago

"default_model": "ollama", // 默认模型

结果是这样的 @GaiZhenbiao

截屏2024-03-27 06 00 48 截屏2024-03-27 05 50 52