TuGraph-family / tugraph-db

TuGraph: A High Performance Graph Database.
https://tugraph.org
Apache License 2.0
1.43k stars 191 forks source link

4.1.0 在线全量导入失败 —— 最终确认非问题 #699

Closed Codewulan closed 4 weeks ago

Codewulan commented 1 month ago

在线全量导入功能,遇到json解析失败,想确认是否为bug,还是需要输入要特殊适配吗? Environment:

Describe the bug 全量导入异常截图: image

初步排查:同样的数据,增量导入正常 image

How to reproduce and expected behavior 数据源:是用lgraph_export导出已有数据生成的 import.config及其关联的csv文件。如果定位需要的话,我把文件传上来

使用命令: lgraph_import --online true --full true -g lq_test -c import.config --url http://127.0.0.1:7070/ -u admin -p 73@TuGraph --delimiter , -i true

预期:能正常导入

zhjwpku commented 1 month ago

我自己导出了一份数据再导入,没有遇到问题,不过我的版本比较新,用的命令是 ./lgraph_import --online true --online_type 1 -g lq_test -c exportdir/import.config --url http://127.0.0.1:7070/ -u admin -p 73@TuGraph --delimiter , -i true 可以提供一下你的数据我来测试一下新版本是否有相同的问题

Codewulan commented 1 month ago

我自己导出了一份数据再导入,没有遇到问题,不过我的版本比较新,用的命令是 ./lgraph_import --online true --online_type 1 -g lq_test -c exportdir/import.config --url http://127.0.0.1:7070/ -u admin -p 73@TuGraph --delimiter , -i true 可以提供一下你的数据我来测试一下新版本是否有相同的问题

@zhjwpku 嗯,我也看到新版本命令不太一样。因为我们信息安全,不方便直接上传文件(之前忘了这点)。我从java客户端的UT取的数据: https://github.com/TuGraph-family/tugraph-db-client-java/blob/v1.4.1/rpc-client-test/src/main/java/com/antgroup/tugraph/TuGraphDbRpcClientUtil.java

这个类的3个变量:IMPORT_SCHEMA,IMPORT_DATA_PERSON_DESC,IMPORT_DATA_PERSON

IMPORT_SCHEMA,IMPORT_DATA_PERSON_DESC用来构造import.config文件,file下补充"path": ".//person.csv"。IMPORT_DATA_PERSON 构造person.csv

稍微有点麻烦,看方便测试吗?或者看可以发一下你用的数据吗?

zhjwpku commented 1 month ago

我自己导出了一份数据再导入,没有遇到问题,不过我的版本比较新,用的命令是 ./lgraph_import --online true --online_type 1 -g lq_test -c exportdir/import.config --url http://127.0.0.1:7070/ -u admin -p 73@TuGraph --delimiter , -i true 可以提供一下你的数据我来测试一下新版本是否有相同的问题

@zhjwpku 嗯,我也看到新版本命令不太一样。因为我们信息安全,不方便直接上传文件(之前忘了这点)。我从java客户端的UT取的数据: https://github.com/TuGraph-family/tugraph-db-client-java/blob/v1.4.1/rpc-client-test/src/main/java/com/antgroup/tugraph/TuGraphDbRpcClientUtil.java

这个类的3个变量:IMPORT_SCHEMA,IMPORT_DATA_PERSON_DESC,IMPORT_DATA_PERSON

IMPORT_SCHEMA,IMPORT_DATA_PERSON_DESC用来构造import.config文件,file下补充"path": ".//person.csv"。IMPORT_DATA_PERSON 构造person.csv

稍微有点麻烦,看方便测试吗?或者看可以发一下你用的数据吗?

我用的数据就是自带的 template movie

Codewulan commented 1 month ago

template movie

ok,是这里吗?https://github.com/TuGraph-family/tugraph-db/blob/master/demo/movie/import.json

Codewulan commented 1 month ago

template movie

ok,是这里吗?https://github.com/TuGraph-family/tugraph-db/blob/master/demo/movie/import.json

试了下,是一样的报错,怀疑大概率是4.1.0的bug

Codewulan commented 4 weeks ago

@zhjwpku 最新验证发现可以成功导入,此前失败可能是环境被污染的原因。属于非问题 image