-
单独测试chatGLM2-6b模型(不涉及RAG,embedding等等,即简单的输入prompt调用模型),在1200个token的时候回答要4s,而在3800个token的时候,回答要28s。但是使用本项目,不论token多长(即不论设置的匹配知识条数有多少条),模型总是能在1s内流式输出结果,请问这是做了什么优化能让模型的回答速度提升这么多呢?
本来以为是上下文压缩减少了token数量,但…
-
**问题描述 / Problem Description**
rt,
![微信截图_20240311142709](https://github.com/chatchat-space/Langchain-Chatchat/assets/131108176/ff9cb84c-6897-4dc0-aa88-dd62161f23a2)
**复现问题的步骤 / Steps to Repro…
-
track
-
upstream connect error or disconnect/reset before headers. retried and the latest reset reason: connection failure, transport failure reason: delayed connect error: 111
浏览器 长时间不操作的时候会出现上述问题,导致无法访问
-
2023-08-19 23:06:22 | INFO | model_worker | Loading the model ['chatglm2-6b'] on worker 6e56c560 ...
2023-08-19 23:06:23 | ERROR | stderr |
Loading checkpoint shards: 0%| …
-
**问题描述 / Problem Description**
### 本地启动报错,报错日志如下:
2024-05-14 18:11:17 | INFO | model_worker | Register to controller
2024-05-14 18:11:17 | ERROR | stderr | INFO: Started server process [86837]
…
-
**问题描述 / Problem Description**
用简洁明了的语言描述这个问题 / Describe the problem in a clear and concise manner.
docker 启动,挂载出现问题
**复现问题的步骤 / Steps to Reproduce**
1. 执行
```shell
docker run -d --gpus al…
-
**问题描述 / Problem Description**
处理txt文档解析报错,导致向量化失败,完整错误日志
ERROR: ParserError: 从文件 /Langchain-Chatchat-0.2.8/knowledge_base/1111/content/text.txt 加载文档时出错:Error tokenizing data. C error: Expected 13 f…
-
如题,谢谢!
-
**问题描述 / Problem Description**
我根据wiki中AutoDL部署的教程在AutoDL上部署了Langchain-ChatChat v11。在程序启动后,通过webui界面访问始终停留在"Please wait..."界面
**复现问题的步骤 / Steps to Reproduce**
1. 根据 [AutoDL 镜像](https://www.codewi…
mtics updated
7 months ago