search

GitDataAI / jiaozifs-ui

frontend of jiaozifs.
https://cloud.jiaozifs.com
MIT License
5 stars 1 forks source link

fix: 大批量上传很多文件会很慢 #141

Open hunjixin opened 4 months ago

hunjixin commented 4 months ago

数据小的时候批量传刷的hen'k很快， 大量的传数据会变得非常慢。

val.zip

TsumikiQAQ commented 3 months ago

image 应该是网速问题 本地很快就传了 clound那边不开vpn加载会很慢

hunjixin commented 3 months ago

我说的是数量，把我那个压缩吧，打开，用那个，那里面有里几千个小文件。

hunjixin commented 3 months ago

怀疑是不是元素太多，每次上传一个，全部都会状态检查。

TsumikiQAQ commented 3 months ago

现在是把文件做成一个文件数组，然后遍历发送请求上传，因为之前是限制一次最多上传5个，防止上传大文件一次性内存占用太大崩溃。 ui上传文件应该不需要上传太多小文件吧，以后不是会增加命令行上传吗？

TsumikiQAQ commented 3 months ago

现在几千个文件遍历上传，每个都单独发送请求，每次都会有几十到几百ms延迟，打包一起上传就会快很多 但是传大文件崩溃的风险就会加大

hunjixin commented 3 months ago

晚上我在试试，问题是上传速度和数量不是线性的。