添加 model worker 出现 bug，报错 ERROR: TypeError: Caught exception: object of type 'NoneType' has no len()

chatchat-space / Langchain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain

Apache License 2.0

31.83k stars 5.55k forks source link

添加 model worker 出现 bug，报错 ERROR: TypeError: Caught exception: object of type 'NoneType' has no len() #4268

Closed hcffffff closed 4 months ago

hcffffff commented 4 months ago

问题描述 / Problem Description 需要以非openAI格式调用其他的llm api，我自己配置了一个worker，但对话时一直报错

复现问题的步骤 / Steps to Reproduce 执行LLM chat 报错 utils.py[line:41] - ERROR: TypeError: Caught exception: object of type 'NoneType' has no len()

环境信息 / Environment Information

langchain-ChatGLM 版本/commit 号：v2.0.10
是否使用 Docker 部署（是/否）：否
使用的模型（ChatGLM2-6B / Qwen-7B 等）：私有api模型

截屏2024-06-21 18 32 31

imClumsyPanda commented 4 months ago

一般该报错是因为未成功接入模型，建议围绕这一方向进行排查。

鉴于项目组暂时不会继续对0.2.x代码进行维护，故关闭本issue

Zzzzzz0H0 commented 3 months ago

@hcffffff 请问下你这边有什么进展吗，我也遇到了这个问题，接的是 qwen 的模型

hcffffff commented 3 months ago

@hcffffff 请问下你这边有什么进展吗，我也遇到了这个问题，接的是 qwen 的模型

qwen不确定，是接的api还是本地的？我是是自己构建的model worker出错了，多检查一下do_chat方法吧，我也不知道具体bug在哪里，多测试一下就好了。

Zzzzzz0H0 commented 3 months ago

qwen不确定，是接的api还是本地的？我是是自己构建的model worker出错了，多检查一下do_chat方法吧，我也不知道具体bug在哪里，多测试一下就好了。

多谢，我是接的api，服务器正常然后容器内出问题了，一开始就很奇怪。。。后来 debug chunk 的时候发现问题了，是依赖的 dashscope 没有安装，目前已经解决了。

myAhua commented 3 weeks ago

我切换fangzhou-api也报这个错