chatchat-space / Langchain-Chatchat

Langchain-Chatchat(原Langchain-ChatGLM)基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain
Apache License 2.0
32.23k stars 5.6k forks source link

lmstudio发布模型,chatchat kb -r 执行完后卡住 #4927

Closed vscodes2022 closed 1 month ago

vscodes2022 commented 2 months ago

尝试用LMStudio发布LLM模型和embed模型,模型已发布成功,但执行chatchat kb -r后,前面创建矢量库都很正常,但好像创建完后卡住一直不结束,也没有错误信息报出。哪位大佬碰到过这样的问题? 最后的界面如下: 文档切分示例:page_content='ChatGPT是OpenAI开发的一个大型语言模型,可以提供各种主题的信息,\n# 如何向 ChatGPT 提问以获得高质量答案:提示技巧工程完全指南\n## 介绍\n我很高兴欢迎您阅读我的最新书籍《The Art of Asking ChatGPT for High-Quality Answers: A complete Guide to Prompt Engineering Techniques》。本书是一本全面指南,介绍了各种提示技术,用于从ChatGPT中生成高质量的答案。\n我们将探讨如何使用不同的提示工程技术来实现不同的目标。ChatGPT是一款最先进的语言模型,能够生成类似人类的文本。然而,理解如何正确地向ChatGPT提问以获得我们所需的高质量输出非常重要。而这正是本书的目的。\n无论您是普通人、研究人员、开发人员,还是只是想在自己的领域中将ChatGPT作为个人助手的人,本书都是为您编写的。我使用简单易懂的语言,提供实用的解释,并在每个提示技术中提供了示例和提示公式。通过本书,您将学习如何使用提示工程技术来控制ChatGPT的输出,并生成符合您特定需求的文本。\n在整本书中,我们还提供了如何结合不同的提示技术以实现更具体结果的示例。我希望您能像我写作时一样,享受阅读本书并从中获得知识。\n

\n## 第一章:Prompt 工程技术简介\n什么是 Prompt 工程?\nPrompt 工程是创建提示或指导像 ChatGPT 这样的语言模型输出的过程。它允许用户控制模型的输出并生成符合其特定需求的文本。' metadata={'source': '/Volumes/MacStorage/08_AI/LLM/Langchain-Chatchat/data/knowledge_base/samples/content/test_files/test.txt'}

model setting如下:

默认选用的 LLM 名称

DEFAULT_LLM_MODEL: Qwen/Qwen2-7B-Instruct-GGUF

默认选用的 Embedding 名称

DEFAULT_EMBEDDING_MODEL: nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q8_0.gguf

MODEL_PLATFORMS:

其他配置跟默认一致。(MODEL_PLATFORMS只保留了lmstudio这一项) embed模型使用bge-large-zh-v1.5-gguf效果也一样。

github-actions[bot] commented 1 month ago

这个问题已经被标记为 stale ,因为它已经超过 30 天没有任何活动。

github-actions[bot] commented 1 month ago

这个问题已经被自动关闭,因为它被标为 stale 后超过 14 天没有任何活动。