[本地部署]: ollama serve +川虎部署失败

GaiZhenbiao / ChuanhuChatGPT

GUI for ChatGPT API and many LLMs. Supports agents, file-based QA, GPT finetuning and query with web search. All with a neat UI.

https://huggingface.co/spaces/JohnSmith9982/ChuanhuChatGPT

GNU General Public License v3.0

15.23k stars 2.29k forks source link

[本地部署]: ollama serve +川虎部署失败 #1084

Open taozhiyuai opened 7 months ago

taozhiyuai commented 7 months ago

是否已存在现有反馈与解答？

[X] 我确认没有已有issue或discussion，且已阅读常见问题。

是否是一个代理配置相关的疑问？

[X] 我确认这不是一个代理配置相关的疑问。

错误描述

不能推理

复现操作

模型是qwen:14b-chat-v1.5-fp16
运行ollama serve

3.川虎配置文件设置了 "openai_api_key": "ollama", "extra_models": ["qwen:14b-chat-v1.5-fp16"], "openai_api_base": "http://localhost:11434/v1",

错误日志

No response

运行环境

- OS: macOS
- Browser: safari
- Gradio version: 
- Python version:

补充说明

No response

taozhiyuai commented 7 months ago

模型列表点击我添加的qwen:14b-chat-v1.5-fp16, 也不能选择

Keldos-Li commented 7 months ago

"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型

taozhiyuai commented 7 months ago

"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型

lm studio像你说的操作可以.换成ollama server 就出现如图错误

taozhiyuai commented 7 months ago

附上我的json config.json

"openai_api_key": "ollama", "default_model": "GPT3.5 Turbo", // 默认模型 "openai_api_base": "http://localhost:11434/v1",

下面的注释掉了 // "available_models": ["GPT3.5 Turbo", "GPT4 Turbo", "GPT4 Vision"], // 可用的模型列表，将覆盖默认的可用模型列表 // "extra_models": ["模型名称3", "模型名称4", ...], // 额外的模型，将添加到可用的模型列表之后

taozhiyuai commented 7 months ago

"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型

试了很多次,总是如图错误.请问怎么办.

GaiZhenbiao commented 7 months ago

ollama 应该在模型选单选 ollama

taozhiyuai commented 7 months ago

ollama 应该在模型选单选 ollama

不太明白什么意思,应该如何操作?麻烦介绍清楚点.谢谢. @GaiZhenbiao

我刚才又确认了一下.在LM STUDIO开API SERVER, 可以改API和BASE, 不管MODEL可以推理. 但是用OLLAMA后, 相同的修改配置方法, 却不可以推理.

taozhiyuai commented 7 months ago

"default_model": "ollama", // 默认模型

结果是这样的 @GaiZhenbiao