alibaba-edu / mpc4j

Apache License 2.0
211 stars 42 forks source link

关于计算内存的疑问 #26

Closed liyuhui666 closed 6 months ago

liyuhui666 commented 1 year ago

YV UZOG%FW{~E1}%J4O2R(S 以计算psi为例,关于数据输入,如果计算两方数据求交,那两个set需要放入两方的全量数据,如果读取数据量过大,比如100g大小文件,两方就是200g,如果计算节点内存较小64g,该如何使用psi求交

liuweiran900217 commented 1 year ago

有关您说的这几个需求,我需要澄清一下: (1)mpc4j是一个面向学术领域的研究库,主要实现学术领域提出的算法。大规模数据、分布式等属于更落地的需求,需要进一步的研发,但这偏离了mpc4j的初衷。 (2)mpc4j面向研究人员,因此我们只尽力给出算法实现,至于各个协议的优劣,请参考论文。 总的来说,一个开源库很难解决全部问题。mpc4j的核心目的是构建起理论到落地的第一座桥梁,但其仍然面向于研究人员,而非真正的产品化部署。

lap2011 commented 1 year ago

基于mpc4j的产品化实心可以参考DataTrust