qicosmos / rest_rpc

modern C++(C++11), simple, easy to use rpc framework
MIT License
1.66k stars 365 forks source link

请问该工具最大支持传输 多大的数据? #105

Open qzp-user opened 1 year ago

qzp-user commented 1 year ago

我修改了程序中的数据大小和超时限制,但是当我的传输数据大于2G时,程序会挂掉。请问我需要修改哪里,才能传输大规模的数据。

qicosmos commented 1 year ago

可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。

qzp-user commented 1 year ago

可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。

目前我能不能修改某些地方的代码,能够传递10G的vector数据。分块也可以 但总感觉不太好的样子

qicosmos commented 1 year ago

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。

qzp-user commented 1 year ago

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。

分成小的效率高吗,我目前用于分布式聚类,会传递大量的向量 ,不是一次传的越多效率越高吗

qicosmos commented 1 year ago

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

qzp-user commented 1 year ago

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

大概超过多少数据 ,rpc会挂掉?我按照这个分块传递吧,谢谢啦!

qzp-user commented 1 year ago

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

一次传递500M应该不会触发问题吧?

qicosmos commented 1 year ago

一次传2M就够了,分配太大了也没啥用,操作系统内部还是分块上传的。