search

alibaba / euler

A distributed graph deep learning framework.
Apache License 2.0
2.89k stars 559 forks source link

关于数据分片 #242

Open RikonYu opened 4 years ago

RikonYu commented 4 years ago

请问分布式训练的时候对数据分片是只有dat文件需要分片么，train,test,val.id三个文件需要么。谢谢。

alinamimi commented 4 years ago

数据分片是为了分布式load图数据，train,test,val.id三个文件不需要

RikonYu commented 4 years ago

数据分片是为了分布式load图数据，train,test,val.id三个文件不需要

谢谢，那请问这三个文件需要如何提供给分布式的euler呢？放在本地么？

alinamimi commented 4 years ago

保证训练的worker读到自己的train test val id就好