[讨论]Neo4j 服务器开通讨论

[frank-zsy]

由于最近与 TuGraph 的合作与测试，已经确认 Neo4j 可以支撑基于复杂网络结构的超大协作网络结构，在导入到 2022 年初时没有出现明显的导入速度降低，总体图规模如图所示，约为 5.3 亿节点，12.5 亿边：

故考虑进一步部署一台线上 Neo4j 图数据库服务器，用于实验室的图计算相关科研工作，并且在 GitHub 数据全部导入后开始 Gitee、GitLab、deps.dev 等平台的数据融合工作。

目前需要大家了解的信息如下：

• 由于阿里云产品型号的设置，数据库类实例推荐选用本地盘类型实例，NVMe SSD 本地盘的读写 IOPS 大约在一般云盘的百倍以上，使用云盘当数据量超过内存时会出现明显的磁盘读写延时导致的数据库性能下降。
• 按照目前数据量规模，GitHub Archive Event Log 约 2.5TB，导入图数据库超 1TB，建议选择 ecs.i4.8xlarge 规格 ECS 硬件实例，该实例包含两块 3.5TB NVMe SSD 本地盘，可分别用于原始数据存储与图数据库数据存储。
• 上述实例规格目前仅在上海可用区 M 存在实例在售，因此推荐在 M 区开设该实例 ECS，并同时部署日志导入程序与 Neo4j 数据库实例。

上述操作可能导致的影响：

• 阿里云产品内网通信延迟极低、带宽很大且免费，相同带宽的公网网络价格很高。但要求产品必须在同一 VPC 内。
• 由于目前的数据导入机与 ClickHouse 线上实例均在上海可用区 B，并属同一 VPC。若将数据导入机迁往可用区 M，则线上 ClickHouse 实例同样需要迁移到可用区 M，否则会出现跨区只能走公网的情况。

总结：

• 预开设一台高性能线上 Neo4j 数据库实例用于图计算相关任务，预算在每月 4000 元左右。
• 该机器将同时承担 Neo4j 数据库与数据持续导入程序的部署，ClickHouse 导入将在整点进行，Neo4j 导入将在半点进行。
• 该操作将导致线上 ClickHouse 实例迁移，ClickHouse 公网地址将发生变化。

不知道大家有没有什么其他的问题和建议？

[frank-zsy]

后续该 Neo4j 实例将统一承担全域 OpenRank 与项目 OpenRank 的线上计算任务，并同时承担后续的各类数据导出任务，如 OpenGalaxy、OpenDigger CodePen Demo 等数据。

[will-ww]

全力支持！个人认为不管后续 TuGraph 的发展情况如何， Neo4j 也还是我们一个非常重要的基础设施，上周和大家聊开题的时候也都说明，是实验室同学参与开源活动数据分析与开发的基本工具和技能。大家看，如果没有问题，请 @zhicheng-ning 来协助 Frank 在阿里云上开通并适当维护，稳定后可以带一年级同学参与起来~

[frank-zsy]

额外信息：

• Neo4j 将使用 Docker 部署较新的 5.6.0 社区版。
• 对应的 OpenRank GDS 插件已经发布 2.3.3 版本，需使用对应的 Neo4j-GDS 2.3.3 版本，可兼容 Neo4j 5.6.0 版本。

[frank-zsy]

Neo4j 实例已经完全导入，总节点数 7.6 亿，总边数 18.3 亿，几个查询样例：

• 全域按语言聚合的仓库数量排名 Top20

• 全域 Issue 中活跃开发者数量最多的 Issue Top20，返回对应的仓库名与 Issue number

• 目前数据库中按节点类型与边类型聚合按数量排序结果

[frank-zsy]

下周会重新导入一次 Neo4j 的数据，原因是之前的导入代码是用 TuGraph 的导入程序修改而来的，created_at 字段在 TuGraph 中是 DateTime 类型，但在 Neo4j 中由于是弱 Schema 的形式，所以在没有指定类型的情况下导入的是字符串类型，这样即便在建立索引后也无法很快遍历查询某个月的所有边，所以还需要重新导入并赋值为 DateTime 类型。