apache / incubator-hugegraph-toolchain

HugeGraph toolchain - include a series useful graph modules
https://hugegraph.apache.org/
Apache License 2.0
87 stars 91 forks source link

导入数据时为啥出现边没有导入成功而点全部导入成功 #178

Closed dyhyao6 closed 3 years ago

dyhyao6 commented 3 years ago

这是我的strut.json文件 { "vertices": [ { "label": "person", "input": { "type": "file", "path": "/usr/local/hugegraph-loader-0.10.0/data_set/de_dup.txt", "format": "TEXT", "header": ["id"], "charset": "UTF-8" } } ], "edges": [ { "label": "friend", "source": ["source_id"], "target": ["target_id"], "input": { "type": "file", "path": "/usr/local/hugegraph-loader-0.10.0/com-youtube.ungraph.txt", "format": "TEXT", "header": ["source_id", "target_id"] }, "field_mapping": { "source_id": "id", "target_id": "id" } } ] } 数据集采用的是:com-youtube.ungraph.txt 由于里面有“#”,所以我试了添加"comment_symbols": ["#"],但是loader无法认识该字段,所以我就把数据集文件里的注释行删除了,但还是没法读取边

这是我的结果:

企业微信截图_20201112213612
dyhyao6 commented 3 years ago

@Linary @javeme 大佬帮一下,谢谢

dyhyao6 commented 3 years ago

vertices has been loaded : 1134890 edges has been loaded : 0 ERROR: More than 1 edges parsing error, stop parsing and waiting all insert tasks finished 0

total vertex metrics parse: parse success : 1134890 parse failure : 0 parse time : 0.98s parse rate : 1158051(vertices/s) load: load success : 1134890 load failure : 0 load time : 24.782s load rate : 45794(vertices/s)

total edge metrics parse: parse success : 0 parse failure : 1 parse time : 0.011s parse rate : 0(edges/s) load: load success : 0 load failure : 0 load time : 0.033s load rate : 0(edges/s)

lixuanhng commented 3 years ago

@dyhyao6 hello,请问解决了吗?我也遇到了这个问题。。。部分顶点被导入进去了,边都没有被导入进去,找了半天也不知道是为什么。。。

dyhyao6 commented 3 years ago

@dyhyao6 hello,请问解决了吗?我也遇到了这个问题。。。部分顶点被导入进去了,边都没有被导入进去,找了半天也不知道是为什么。。。

你看一下propertykey的类型,好像不能是Int类型,因为读取文件时,可能会出现类型装换问题,建议propertykey都改为asText()

lixuanhng commented 3 years ago

@dyhyao6 hello,请问解决了吗?我也遇到了这个问题。。。部分顶点被导入进去了,边都没有被导入进去,找了半天也不知道是为什么。。。

你看一下propertykey的类型,好像不能是Int类型,因为读取文件时,可能会出现类型装换问题,建议propertykey都改为asText()

改为asText()还是不行,还是会报如下错误: ERROR: More than 500 vertices insert error, stop parsing and waiting other insert tasks finished 请问兄弟可以加个联系方式吗?请教一下!

Linary commented 3 years ago

@dyhyao6 因为边有一条解析出错了,于是导入就停下来了。看一下日志文件的错误信息。

dyhyao6 commented 3 years ago

@dyhyao6 因为边有一条解析出错了,于是导入就停下来了。看一下日志文件的错误信息。 已解决,谢谢

Linary commented 3 years ago

@dyhyao6 那我关闭这个issue了。