2022Tencent Rhino-bird Open-source Training Program—Angel-Zihan Li-Week3&4

[1123469]

---

Angel项目第三周&第四周进展

当前进展:

• 继续对论文随机游走构建context graph部分的精读，并且进一步搜集相关论文及资料
• 学习Scala语言，并完成对一阶段代码工作的重写（java语言转为scala）
• 对重写的基于scala代码模块进行了单元测试，并且利用(1,1)-Barbell图验证了功能所构建的相似度层次网络的正确性

算法需要进行的优化:

• Item1：无向图的adjacency matrix为对称矩阵，可以进行相应的矩阵压缩
• Item2：DTW算法可根据论文https://go.exlibris.link/35X6ykDp 优化为快速DTW计算
• Item3：其他代码细节的优化 .etc

当前代码工作的测试及相应结果:

1. 输入：

            测试使用的图为 Barbell-Graph (1,1), 其对应邻接矩阵为：[[0,1,INF],[1,0,1],[INF,1,0]]

2. 期望输出（3x3x3 的结构相似度矩阵 structSimi, 显然 structSimi[k][i][j] = fk(Nodei,Nodej))

   • 手算验证结果:

     [ [[0,1,0],[1,0,1],[0,1,0]], [[0,3,0],[3,0,3],[0,3,0]], [[0,NaN,0],[NaN,NaN,NaN],[0,NaN,NaN]] ]

3. 实际输出：(与手算验证结果一致)

   • java：

   • scala:

遇到的问题:

• Q1：如何将所完成的功能模块嵌入并完成算法整体的Spark编程
• S1：继续深入研究源代码，并且相应去进一步学习和掌握scala语言
• Q2：如何实现随机游走构建context graph
• S2：可以去参考graphsage算法的具体基于python的实现，将其转化为本项目所需要的东西