dosubot[bot]
commented
5 months ago 嘿，@litongyun233，又见面了！希望这次我们能一起解决新的疑惑。😜
Langchain-Chatchat项目中实现了多种优化，以确保模型在1秒内输出结果，无论token长度或设置的知识匹配数有多少。这些优化包括：
-
异步处理：使用异步函数（
async/await）和asyncio任务进行非阻塞I/O操作。这在knowledge_base_chat_iterator函数中尤为明显，其中数据库和网络操作是异步执行的（例如，await run_in_threadpool(search_docs, ...)），允许其他任务并行运行，而无需等待这些操作完成。 -
后台任务执行：使用
asyncio.create_task方法在后台运行wrap_done(chain.acall({"context": context, "question": query}), callback.done)任务。这允许系统启动任务并立即执行后续代码，而无需等待任务完成，从而提高响应时间。 -
服务器发送事件（SSE）：使用
sse_starlette.sse中的EventSourceResponse将响应流式传输到客户端。这允许服务器在数据可用时立即将更新推送到客户端，而无需等待整个响应准备就绪。这对于流式传输模型的输出特别有用，可以提高性能感知。 -
条件使用重排器：基于
USE_RERANKER配置选项的条件使用重排器，可以灵活处理。如果启用了重排，它会根据查询的相关性压缩文档，可能减少模型需要考虑的数据量，从而加快响应时间。这由if USE_RERANKER:块管理，只有在配置为这样做时才激活重排器。 -
高效的文档处理：在将文档输入模型之前，它们会被处理和压缩（如果使用了重排），以确保只考虑最相关的内容。这在
docs = reranker_model.compress_documents(documents=docs, query=query)行中可以看到，该行通过优化输入以便模型更快地处理。 -
优化的提示构建：通过使用模板并只包含最相关的历史和上下文，优化了提示的构建。这由
ChatPromptTemplate.from_messages方法管理，该方法以结构化和高效的方式构建提示，确保模型的输入简洁且相关。
这些优化共同促成了系统即使在处理复杂查询或大量文档时也能快速响应的能力。
源代码：
litongyun233
zRzRzRzRzRzRzR
单独测试chatGLM2-6b模型（不涉及RAG，embedding等等，即简单的输入prompt调用模型），在1200个token的时候回答要4s，而在3800个token的时候，回答要28s。但是使用本项目，不论token多长（即不论设置的匹配知识条数有多少条），模型总是能在1s内流式输出结果，请问这是做了什么优化能让模型的回答速度提升这么多呢？ 本来以为是上下文压缩减少了token数量，但看到只有在rerank阶段涉及到上下文压缩，但不启用rerank也有如此快的速度。