search

zhayujie / chatgpt-on-wechat

基于大模型搭建的聊天机器人，同时支持 微信公众号、企业微信应用、飞书、钉钉 等接入，可选择GPT3.5/GPT-4o/GPT-o1/ Claude/文心一言/讯飞星火/通义千问/ Gemini/GLM-4/Claude/Kimi/LinkAI，能处理文本、语音和图片，访问操作系统和互联网，支持基于自有知识库进行定制企业智能客服。
https://docs.link-ai.tech/cow
MIT License
30.27k stars 7.96k forks source link

Add support for the Ollama model #2120

Open Joycc opened 3 months ago

Joycc commented 3 months ago

Add support for the Ollama model，enjoy it！

onlydev1ce3 commented 2 months ago

Ollama 平台配置

"ollama_base_url": "",
"ollama_port": "",这里填什么呢？
Joycc commented 2 months ago

Ollama 平台配置

"ollama_base_url": "",
"ollama_port": "",这里填什么呢？

当然是填ollama的端口

here is the example:

"ollama_base_url": "http://localhost",
"ollama_port": "11434",
onlydev1ce3 commented 2 months ago

Ollama 平台配置

"ollama_base_url": "",
"ollama_port": "",这里填什么呢？

当然是填ollama的端口

here is the example:

"ollama_base_url": "http://localhost",
"ollama_port": "11434",

解决了老哥，谢谢，还有就是想问一下如果要搞本地模型的实时切换可以实现吗？比如在prefix里面加入前缀词，然后改model名称？想不到怎样才能不重启项目实现切换呢

Joycc commented 2 months ago

Ollama 平台配置

"ollama_base_url": "",
"ollama_port": "",这里填什么呢？

当然是填ollama的端口 here is the example:

"ollama_base_url": "http://localhost",
"ollama_port": "11434",

解决了老哥，谢谢，还有就是想问一下如果要搞本地模型的实时切换可以实现吗？比如在prefix里面加入前缀词，然后改model名称？想不到怎样才能不重启项目实现切换呢

修改config里面的model之后输入 #更新配置 应该就可以了，我直接照抄的其他bot的代码，没测试过，你可以试试

ztcarrot commented 1 week ago

调了半天 终于调通了， api调用什么的貌似还有问题， response里的context 存到session里的功能还没有