TsinghuaDatabaseGroup / DB-GPT

An LLM Based Diagnosis System (https://arxiv.org/pdf/2312.01454.pdf)
http://dbgpt.dbmind.cn/
Apache License 2.0
565 stars 80 forks source link

怎么配置llm #55

Closed tozhengxq closed 11 months ago

tozhengxq commented 11 months ago

请问下,如果不使用llm,multiagents/agent_conf/config.yaml 该怎么配置 llm: llm_type: model: 目前的case是没法跑通的 ValueError: None is not registered. Please register with the .register("None") method provided in LLMRegistry registry

zhouxh19 commented 11 months ago

您好,目前这个项目要求llm_type不能为none。

如果您不想使用openai模型,可以选用本地diag-llama(llm_type: diag-llama).

tozhengxq commented 11 months ago

谢谢您的回复,如果希望只用openai呢,llm不能为none,那么需要怎么配置?

zhouxh19 commented 11 months ago

比如 llm_type: gpt-4

tozhengxq commented 11 months ago

指定llm_type需要注册,否则校验失败 ValueError: gpt-4 is not registered. Please register with the .register("gpt-4") method provided in LLMRegistry registry

是否需要在multiagents/llms/下单独实现一个class来支持openai?

tozhengxq commented 11 months ago

代码是最新的master分支 测试是用的 $PROJECT/main.py, 配置是muliagents/agent_conf/config.yaml (config copy.yaml)

zhouxh19 commented 11 months ago

缺失的脚本已上传。是我们的问题:1)由于本地使用了代理的openai服务,没有提供通用的openai.py脚本;2)同步openai v1.0.0的命令更新。

您重新按照 https://github.com/TsinghuaDatabaseGroup/DB-GPT#-quickstart 里的步骤应该就可以跑通了。

注意,如果您使用开源仓库里的openai调用模式,可能会打印较多的调用失败信息(如“Generate_response Exception. Try again.”),这是正常现象,耐心等待即可。