labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.45k stars 4.69k forks source link

csv上传到表格数据集,部分数据一直在索引中 #2790

Closed arbitraryking closed 4 days ago

arbitraryking commented 3 weeks ago

例行检查

你的版本

问题描述, 日志截图

image fastgpt日志: image one-api日志: image

复现步骤 1、在本地测试和部署所使用镜像完全相同,测试时全部csv的内容都正常加载了,唯一差别是测试时知识库设置的文件处理模型是qwenv2-32k,部署时使用智谱glm-4-plus,这会有影响吗?但是oneapi日志中没有关于大模型的请求。 2、我删除了一些一直卡在索引中的csv文件,重新上传,会加载一些数据,但是还是有部分在索引中 预期结果

相关截图

arbitraryking commented 3 weeks ago

csv已经处理好了的,第一列是用户问题,第二列是答案,用glm-4-plus后最后存储的辅助数据与原来的第二列有差异,甚至部分直接跳过了,用qewn-v2-32k就没有问题,文件处理模型是必用吗? image image

c121914yu commented 3 weeks ago

导数据不需要 LLM,只需要 embedding 模型

arbitraryking commented 3 weeks ago

导数据不需要 LLM,只需要 embedding 模型

我测试了两次,csv文件分别上传到不同的知识库,只有文件处理模型不一样,一次是正常的,另一次加载到知识库里的内容被修改了,不是我原始csv里的数据。导数据不需要 LLM,那这里选择的大模型是做什么的呢。

image

c121914yu commented 3 weeks ago

csv已经处理好了的,第一列是用户问题,第二列是答案,用glm-4-plus后最后存储的辅助数据与原来的第二列有差异,甚至部分直接跳过了,用qewn-v2-32k就没有问题,文件处理模型是必用吗?

QA