search

ownthink / KnowledgeGraphData

史上最大规模1.4亿中文知识图谱开源下载
https://www.ownthink.com/
4.93k stars 726 forks source link

想问一下用的是什么图数据库存储1.4亿三元组 #32

Open mjj1094 opened 2 years ago

mjj1094 commented 2 years ago 
我按照作者的展示效果，尝试用neo4j存储，能力有限费了很多功夫，结果neo4j显示关系类型数量过大：

Peak memory usage: 1.51 GB Import error: Maximum id limit for RELATIONSHIP_TYPE_TOKEN has been reached. Generated id 436489 is out of permitted range [0, 655 35]. 想问一下作者是用的什么图数据库存储的，谢谢！

ownthink commented 2 years ago

将关系当作同一个关系的name来存储，不要一个关系就设置一个关系类型。

 

------------------ 原始邮件 ------------------ 发件人: "ownthink/KnowledgeGraphData" @.>; 发送时间: 2022年3月31日(星期四) 下午3:17 @.>; @.***>; 主题: [ownthink/KnowledgeGraphData] 想问一下用的是什么图数据库存储1.4亿三元组 (Issue #32)

我按照作者的展示效果，尝试用neo4j存储，能力有限费了很多功夫，结果neo4j显示关系类型数量过大：
Peak memory usage: 1.51 GB Import error: Maximum id limit for RELATIONSHIP_TYPE_TOKEN has been reached. Generated id 436489 is out of permitted range [0, 655 35]. 想问一下作者是用的什么图数据库存储的，谢谢！

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

mjj1094 commented 2 years ago

举个例子？感觉没太明白 我用的是neo4j-admin import导入，relationship.csv如下： :START_ID,:END_ID,name,:TYPE e29625201,e8036219,属性,属性 结果关系类型数量超标； 后来改为： :START_ID,:END_ID,name,:TYPE e29625201,e8036219,属性,REL e30158058,e8687549,标签,REL e1186757,e21563160,描述,REL 结果关系全变成REL显示了

ownthink commented 2 years ago

对，就是用第二种就行了，所有的关系都是rel就行了，然后用name来区分关系。

 

------------------ 原始邮件 ------------------ 发件人: "ownthink/KnowledgeGraphData" @.>; 发送时间: 2022年3月31日(星期四) 下午3:25 @.>; @.**@.>; 主题: Re: [ownthink/KnowledgeGraphData] 想问一下用的是什么图数据库存储1.4亿三元组 (Issue #32)

举个例子？感觉没太明白 我用的是neo4j-admin import导入，relationship.csv如下： :START_ID,:END_ID,name,:TYPE e29625201,e8036219,属性,属性 结果关系类型数量超标； 后来改为： :START_ID,:END_ID,name,:TYPE e29625201,e8036219,属性,REL e30158058,e8687549,标签,REL e1186757,e21563160,描述,REL 结果关系全变成REL显示了

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

mjj1094 commented 2 years ago

啊，所以那个neo4j上显示不了属性关系，只能通过可视化工具中自己设置显示了~感谢作者，感谢提供帮助的风言网友

mjj1094 commented 2 years ago

还想问一下，作者思知网站上搜索如此之快，是采用了什么技术吗？

ownthink commented 2 years ago

 neo4j也是10几毫秒啊，服务器好一些，啥问题都能解决

------------------ 原始邮件 ------------------ 发件人: "ownthink/KnowledgeGraphData" @.>; 发送时间: 2022年3月31日(星期四) 下午3:32 @.>; @.**@.>; 主题: Re: [ownthink/KnowledgeGraphData] 想问一下用的是什么图数据库存储1.4亿三元组 (Issue #32)

还想问一下，作者思知网站上搜索如此之快，是采用了什么技术吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

mjj1094 commented 2 years ago

OK，谢谢作者大大！祝身体健康，生活愉快！

mjj1094 commented 2 years ago

作者，再麻烦您一下，我用的服务器自认为还是相对可以的，可是我运行简单的cypher语句，查询竟然达到40秒，效率堪忧啊~ MATCH (n:my_entity)-[r]->(m) where n.name="巴塞罗那" RETURN n,r,m

ownthink commented 2 years ago

加索引

 

------------------ 原始邮件 ------------------ 发件人: "ownthink/KnowledgeGraphData" @.>; 发送时间: 2022年4月13日(星期三) 上午10:37 @.>; @.**@.>; 主题: Re: [ownthink/KnowledgeGraphData] 想问一下用的是什么图数据库存储1.4亿三元组 (Issue #32)

作者，再麻烦您一下，我用的服务器自认为还是相对可以的，可是我运行简单的cypher语句，查询竟然达到40秒，效率堪忧啊~ MATCH (n:my_entity)-[r]->(m) where n.name="巴塞罗那" RETURN n,r,m

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

mjj1094 commented 2 years ago

谢谢，我学一下加索引！

litao09h commented 2 years ago

RDF三元组应该不适合用图数据库存储，有专门的RDF数据库

sportzhang commented 2 years ago

RDF三元组应该不适合用图数据库存储，有专门的RDF数据库

图数据库不就是用来干这个事的吗，怎么就变成不适合了？