search

shenweichen / GraphEmbedding

Implementation and experiments of graph embedding algorithms.
MIT License
3.64k stars 990 forks source link

节点多的话跑不通，吃内存 #18

Open delphi1987 opened 5 years ago

delphi1987 commented 5 years ago

48万个节点，32G内存跑不同，在_create_A_L上报内存不够。 _create_A_L种构造矩阵的方式是否可优化，稀疏矩阵这样存储太浪费。

shenweichen commented 5 years ago

可以使用numpy或scipy中的sparse matrix来存储

wqw123 commented 5 years ago

48万个节点，32G内存跑不同，在_create_A_L上报内存不够。 _create_A_L种构造矩阵的方式是否可优化，稀疏矩阵这样存储太浪费。

您好，请问该问题解决了吗？如何解决的

MarkovSc commented 4 years ago

可以使用numpy或scipy中的sparse matrix来存储 但是在训练的时候，还得用array 进行input，48万个节点，目测100G都不够用。

shenweichen commented 4 years ago

@MarkovSc 改成Sparse placeholder输入

anmingyu11 commented 3 years ago

这个并行实现是不是有点问题？不管开多少worker都不是并行，为什么不用py内置的并行模块呢？