search

chatchat-space / Langchain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain
Apache License 2.0
31.3k stars 5.45k forks source link

是否支持导入QA问答对类型的csv文件 #4035

Closed zixiaotan21 closed 3 months ago

zixiaotan21 commented 4 months ago

问题描述 / Problem Description 在FastGPT看到支持csv格式导入

image

导入最终效果如下：

image

2007 #3332 有类似的想法，我想在langchain-chatchat实现同样的功能：

  1. 通过csv的方式导入QA问答对文档。
  2. embedding 的时候只做Q的embedding,。

  3. 向量搜索的时候：用户Q和知识库的Q通过向量相似度进行匹配。

    不知道要怎么做呢？ @zRzRzRzRzRzRzR 维护者你好，可以考虑在0.3版本实现这个功能吗

环境信息 / Environment Information langchain-ChatGLM 版本/commit 号：v0.2.10 是否使用 Docker 部署（是/否）：否 使用的模型（ChatGLM2-6B / Qwen-7B 等）：qwen-api 使用的 Embedding 模型（moka-ai/m3e-base 等）：bge-large-zh-v1.5 使用的向量库类型 (faiss / milvus / pg_vector 等)： faiss 操作系统及版本 / Operating system and version: ：Windows-10-10.0.22631-SP0. Python 版本 / Python version: ：3.11.8 其他相关环境信息 / Other relevant environment information: 附加信息 / Additional Information

blackwhites commented 4 months ago

我试过可以。他现在不做Q的embedding

zixiaotan21 commented 4 months ago

我试过可以。他现在不做Q的embedding

噢噢原来是可行的，想请教一下大佬，我该如何导入我的问答对csv文件呀？ 在知识库上传的时候，我好像没看到专门针对csv的分词器耶~

github-actions[bot] commented 3 months ago

这个问题已经被标记为 stale ，因为它已经超过 30 天没有任何活动。