alibaba / euler

A distributed graph deep learning framework.
Apache License 2.0
2.89k stars 559 forks source link

Euler2 获取自定义图数据统计信息 #297

Closed David-AJ closed 3 years ago

David-AJ commented 3 years ago

文档中大部分加载图数据的示例都运行tf_euler.dataset.get_dataset导入euler自带数据集

euler_graph = tf_euler.dataset.get_dataset('cora')
euler_graph.load_graph()

请问如果加载用户自定义的图数据,euler有没有相关的api可以获取当前加载的图数据的统计信息?统计信息例如:节点数量、边的数量、节点类型数量、节点类型集合list、边的类型数量、边的类型集合list、max id等。

个人感觉这个功能对于euler框架而言是比较容易实现的,因为在调用EulerGenerator从json生成bat数据时,可以看到euler自带的统计信息,例如:

name: graph
version: 2.0
node_count: 1942541
edge_count: 19767705
node_type_count: 1
edge_type_count: 1
partition_num: 1
node_meta: {}
edge_meta: {}
node_feature_dim: {}
edge_feature_dim: {}
node_type_info: {"item": 0}
edge_type_info: {"click": 0}
node_feature_maxnum: {"binary": 0, "dense": 0, "sparse": 0}
edge_feature_maxnum: {"binary": 0, "dense": 0, "sparse": 0}
handong0123 commented 3 years ago

我也想问这个 还没找到怎么在2.0中加载自己的图数据

David-AJ commented 3 years ago

我也想问这个 还没找到怎么在2.0中加载自己的图数据

@handong0123 这个还好说,可以参考一下euler_graph.load_graph()的具体实现。把自己生成的binary文件路径赋值给过去,直接copy就能用了。我的需求其实是加载后,能不能有个graph的对象可以让我查看节点数量、max id等统计量。

急需Euler大佬指点迷津XD

handong0123 commented 3 years ago

我也想问这个 还没找到怎么在2.0中加载自己的图数据

@handong0123 这个还好说,可以参考一下euler_graph.load_graph()的具体实现。把自己生成的binary文件路径赋值给过去,直接copy就能用了。我的需求其实是加载后,能不能有个graph的对象可以让我查看节点数量、max id等统计量。

急需Euler大佬指点迷津XD

目前是不是只能手动设置,从图数据转换日志中获取

lixusign commented 3 years ago

自己改改就好了