上传知识知识库，第一次没报错，后续超过一定大小都报错 - Githubissues

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

17.49k stars 4.69k forks source link

上传知识知识库，第一次没报错，后续超过一定大小都报错 #1235

Closed lxb0425 closed 4 months ago

lxb0425 commented 6 months ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已完整查看过项目 README，以及项目文档
[x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本 4.7.1 私有部署版本, 具体版本号: 4.7.1

问题描述 上传知识知识库，第一次没报错，后续超过一定大小都报错，看着是mongo的问题 复现步骤

预期结果 希望可以正常上传20M以上的文件内容 相关截图 ![Uploading image.png…]()

lijiajun1997 commented 6 months ago

一千多万行？会不会是你数据太多了

lxb0425 commented 6 months ago

那不是一千多万行是17M左右，几百kb或者几M的都可以，报错的文件是28M

c121914yu commented 6 months ago

27M csv 没遇到问题？

lxb0425 commented 6 months ago

那我这个真是见鬼了啊之前也传上去过一个200多M和20几M的现在就不行了

c121914yu commented 6 months ago

那我这个真是见鬼了啊之前也传上去过一个200多M和20几M的现在就不行了

可能得 debug 或者看看日志，具体是哪个语句。

lxb0425 commented 6 months ago

fastgpt 报的的错误 mongo没报错感觉看不出啥

c121914yu commented 6 months ago

fastgpt 报的的错误 mongo没报错感觉看不出啥

能发下数据集？迟点本地试试

lxb0425 commented 6 months ago

可以的而且我刚试了下 txt也是这个错感觉都没到mongo 在上传阶段就报了这个错 drug的副本.csv

限制上传25M 我删掉了几条问的gpt

c121914yu commented 6 months ago

可以的而且我刚试了下 txt也是这个错感觉都没到mongo 在上传阶段就报了这个错 drug的副本.csv

限制上传25M 我删掉了几条问的gpt

csv 表格导入的方式？还是分段导入

lxb0425 commented 6 months ago

这两种都试过然后看了下mongo数据库文件已经传上去了好像是解析的问题

lxb0425 commented 6 months ago

第一步是完成的吧

而且刚才又发现一个特点 pdf是可以的 txt csv不行