[BUG] docker版和本地版都报错：Caught exception: 'choices'

chatchat-space / Langchain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain

Apache License 2.0

31.45k stars 5.48k forks source link

[BUG] docker版和本地版都报错：Caught exception: 'choices' #1492

Closed luckzack closed 1 year ago

luckzack commented 1 year ago

使用最新版本， -a模式程序启动成功，使用 chatglm2-6b 或 chatglm2-6b-32k 模型chat时，

docker版和本地版都报错：Caught exception: 'choices'，

模型确认已下载和已配置，使用OPENAI没问题。

imClumsyPanda commented 1 year ago

模型有成功加载吗？使用代码版本是多少？

luckzack commented 1 year ago

模型有成功加载吗？使用代码版本是多少？

有的，上面模型显示running，显存都占用了，

使用最新版本

ilovesouthpark commented 1 year ago

我也出现这样的问题，你可以试试换embedding或者让cpu加载embedding试试，然后再切换回来就好了。感觉是缓存问题

chiehpower commented 1 year ago

我也遇到类似的问题。

screenshot-10-1-2-84-8501-1694948053932

2023-09-17 10:48:50 | INFO | httpx | HTTP Request: POST http://0.0.0.0:7861/chat/chat "HTTP/1.1 200 OK"
2023-09-17 10:48:50 | INFO | stdout | INFO:     127.0.0.1:43336 - "POST /v1/chat/completions HTTP/1.1" 200 OK
2023-09-17 10:48:50,937 - util.py[line:67] - INFO: message='OpenAI API response' path=http://0.0.0.0:8888/v1/chat/completions processing_ms=None request_id=None response_code=200
2023-09-17 10:48:50 | INFO | httpx | HTTP Request: POST http://0.0.0.0:20002/worker_generate_stream "HTTP/1.1 200 OK"
2023-09-17 10:48:50,971 - utils.py[line:15] - ERROR: KeyError: Caught exception: 'choices'

不过目前我的 server_config.py内是设定CPU。

LLM_DEVICE = "cpu" 遇到的问题是在 http://0.0.0.0:20002/worker_generate_stream 这支API上。请问有人知道怎么解决吗？谢谢。

geraldjin commented 1 year ago

我开了load_8bit来加载qwen-7b-chat，也是同样的错误。使用chatglm2-6b正常。 embedding切换了cpu和gpu依然没有作用求解决+1

ilovesouthpark commented 1 year ago

我也遇到类似的问题。

screenshot-10-1-2-84-8501-1694948053932

2023-09-17 10:48:50 | INFO | httpx | HTTP Request: POST http://0.0.0.0:7861/chat/chat "HTTP/1.1 200 OK"
2023-09-17 10:48:50 | INFO | stdout | INFO:     127.0.0.1:43336 - "POST /v1/chat/completions HTTP/1.1" 200 OK
2023-09-17 10:48:50,937 - util.py[line:67] - INFO: message='OpenAI API response' path=http://0.0.0.0:8888/v1/chat/completions processing_ms=None request_id=None response_code=200
2023-09-17 10:48:50 | INFO | httpx | HTTP Request: POST http://0.0.0.0:20002/worker_generate_stream "HTTP/1.1 200 OK"
2023-09-17 10:48:50,971 - utils.py[line:15] - ERROR: KeyError: Caught exception: 'choices'

不过目前我的 server_config.py内是设定CPU。

LLM_DEVICE = "cpu" 遇到的问题是在 http://0.0.0.0:20002/worker_generate_stream 这支API上。请问有人知道怎么解决吗？谢谢。

embedding 切换一下试试

ilovesouthpark commented 1 year ago

我开了load_8bit来加载qwen-7b-chat，也是同样的错误。使用chatglm2-6b正常。 embedding切换了cpu和gpu依然没有作用求解决+1

我baichuan 13b 8bit是可以的，chatglm2 6b我不行，缺少某些模块。qwen 正常运行不量化会提示缺少某些依赖影响性能，但是运行还是可以的，但是0.2.2是好的。

jiaolongxue commented 1 year ago

切换到qianfan-api，然后使用知识库问答也有同样错误

AnYingLieShouTuT commented 1 year ago

FKgoogle commented 1 year ago

gagakou commented 1 year ago

+1 我是刚配置完环境用chatglm2-13b-32k可以进行问答，之后我更换了LLM的模型。当我再次换回chatglm2-13b-32k就出现了这个问题，而且一直没法解决。

jhw0510 commented 1 year ago

插眼，我是可以正常使用ChatGLM2-6B，然后想着试试Baichuan2-13B-Chat，但是报了这个错误 Caught exception: 'choices' ，切换了embedding还是不行，然后我又换回ChatGLM2-6B了，明天试试重新建一个环境看行不行

337529542 commented 1 year ago

我的也是，ChatGLM2-6B-4bit，也是报这个错误，运行不了

Godflyfly commented 1 year ago

楼主解决了吗？

ByranZw commented 1 year ago

qianfan-api，使用知识库问答报这个错，但是知识库匹配结果能展开；对话不报错 xinghuo-api，使用知识库问答是正常的，对话也正常

AIAdream commented 1 year ago

在用qianfan-api，报错choices，修改如下图所示，即可正常回复 Inkedbug：choices

对于其他模型，可能也是这个原因，因为history中的输出多了在新一次的输入，造成了history中出现连续2个“user：“的情况导致报错，可以试一下。

jhw0510 commented 1 year ago

在用qianfan-api，报错choices，修改如下图所示，即可正常回复

对于其他模型，可能也是这个原因，因为history中的输出多了在新一次的输入，造成了history中出现连续2个“user：“的情况导致报错，可以试一下。

我还是不行，我用api，然后正常使用ChatGLM2-6B可以对话，然后想着试试Baichuan2-13B-Chat，不管是对话还是知识库都不行，会报错加乱答，可能也是类似这种问题，但是找不到问题在哪..

gagakou commented 1 year ago

在用qianfan-api，报错choices，修改如下图所示，即可正常回复

对于其他模型，可能也是这个原因，因为history中的输出多了在新一次的输入，造成了history中出现连续2个“user：“的情况导致报错，可以试一下。

试了一下不行，如果是history出现连续的user，把历史对话轮数设置为0，history应该就是空了吧，但是还是会报错。

AIAdream commented 1 year ago

在用qianfan-api，报错choices，修改如下图所示，即可正常回复对于其他模型，可能也是这个原因，因为history中的输出多了在新一次的输入，造成了history中出现连续2个“user：“的情况导致报错，可以试一下。

我还是不行，我用api，然后正常使用ChatGLM2-6B可以对话，然后想着试试Baichuan2-13B-Chat，不管是对话还是知识库都不行，会报错加乱答，可能也是类似这种问题，但是找不到问题在哪..

可以试下接口和网页端分别发送，检测下log中的history和prompt有什么不同

AIAdream commented 1 year ago

在用qianfan-api，报错choices，修改如下图所示，即可正常回复对于其他模型，可能也是这个原因，因为history中的输出多了在新一次的输入，造成了history中出现连续2个“user：“的情况导致报错，可以试一下。

试了一下不行，如果是history出现连续的user，把历史对话轮数设置为0，history应该就是空了吧，但是还是会报错。

历史对话轮数设置为0，好像历史中也会出现你新输入的那一条，因为i初始为1

wenliangzwl commented 1 year ago

同问，请问有解决了的吗

zRzRzRzRzRzRzR commented 1 year ago

这两天会更新0.2.5的docker文件，请注意新版本的变化并使用新版本来测试是否会有上述问题

Wimet7 commented 1 year ago

确实很奇怪，我一开始是python3.10的环境，可以打开使用，后面用着很卡，重启就起不来了，报错 packages/sqlalchemy/util/init.py", line 15, in from ._collections import coerce_generator_arg as coerce_generator_arg File "", line 1027, in _find_and_load File "", line 1006, in _find_and_load_unlocked File "", line 688, in _load_unlocked File "", line 879, in exec_module File "", line 1012, in get_code File "", line 672, in _compile_bytecode ValueError: bad marshal data (unknown type code)，我又改了环境，把3.10改成3.8，3.11，启动倒是成功了，就是一直报错- ERROR: KeyError: Caught exception: 'choices'，不回复了。就很奇怪

houliangxue commented 12 months ago

使用新版本来测试是否会有上述问题

使用了0.2.5还是有问题的呀

iyangiii commented 11 months ago

切换到qianfan-api，然后使用知识库问答也有同样错误

请问qianfan-api问题最后解决了吗我llm问答和知识库回答都用不了

wangzuohao commented 11 months ago

我也是遇到这个问题，只有qianfan-api有这个错误，而且第一次基本都成功，但是后面的问答都会报错，看上去应该和history相关的

onlysky-cn commented 11 months ago

这个问题困扰好几天了，没搞定。。有大神能给个解决方案吗？