eosphoros-ai / DB-GPT

AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents
http://docs.dbgpt.cn
MIT License
13.27k stars 1.76k forks source link

[Feature][Module Name] 支持ollama中多模型添加 #1916

Open dkasa opened 2 weeks ago

dkasa commented 2 weeks ago

Search before asking

Description

现在ollama_proxyllm只能添加一个模型,怎么添加ollama中的多个,来切换使用。(text的同样)

我是使用docker-compose部署的,发现每次重启后发现以下问题: 1、数据就没了;(临时处理:docker-compose.yml中持久化meta_data) 2、tugraph连接不上;(临时处理:docker-compose.yml中,每次启动执行pip install neo4j) 3、模型连接不上;(临时处理:重启后,stop model 然后重新创建连接)

Use case

No response

Related issues

No response

Feature Priority

None

Are you willing to submit PR?

ygbingo commented 6 days ago
  1. 数据持久化可以在docker-compose中加几个映射: 目前已知的可配置路径:

    • /opt/DB-GPT/webserver/data:/data
    • /opt/DB-GPT/webserver/models:/app/models
    • /opt/DB-GPT/webserver/dbgpt-data:/app/pilot/data
    • /opt/DB-GPT/webserver/dbgpt-message:/app/pilot/message
    • /opt/DB-GPT/webserver/dbgpts-main:/app/dbgpts-main
  2. 关于tugraph连接不上的问题,可以参考另一个issue中自己打一个docker镜像 #2012

FROM eosphorosai/dbgpt:v0.6.0
RUN pip3 install dbgpt-tugraph-plugins==0.1.0rc1 langchain-community neo4j langchain -U -i https://pypi.tuna.tsinghua.edu.cn/simple
  1. 第3个问题我也遇到了,我是想添加两个Qwen的模型,但是创建一个新的模型之后,首先是新的模型连接不上(我可以openai直接连接),然后是旧的模型也不能用了