liuxiyang641 / RAGAT

RAGAT: Relation Aware Graph Attention Network for Knowledge Graph Completion
56 stars 16 forks source link

训练环境提问 #13

Closed yu-4041 closed 1 year ago

yu-4041 commented 1 year ago

学长您好,最近我也在做知识图谱补全方面的研究,对于复现,我的显卡是2080ti,现在一个epoch跑完加上验证集指标计算需要1分半,跑完1500个epoch预计需要一天半。想问一下您当时的训练环境如何,也是这么慢吗,有没有什么提高速度的方法,不然调一次看到结果太慢了

liuxiyang641 commented 1 year ago

你好,RAGAT这个模型是用GNN的全图训练方式,也就是说每一个batch中所有的图节点都会进行图卷积操作,所以运行起来比较慢。 如果想要加速,一个是可以选择计算速度更快的GPU,如果是使用3090应该十几个小时可以训练完;另一个可以选择其它的采样策略,每个batch不再训练整个图,而是训练采样得到的部分图。 另外的加速可以考虑在训练初期不进行测试集的评估,而是在训练一段时间后再进行评估。

liuxiyang641 commented 1 year ago

其它的GNN加速策略/框架应该也有对应的研究,这部分我没调研过

yu-4041 commented 1 year ago

好的谢谢学长,不知道最近学长是不是还在研究这方面工作,我是一名研三的学生,最近在读大量文献时有一些idea,但有些自己拿不准可行性和合理性,如果学长方便的话,想和学长分享一下,请学长把把关。

liuxiyang641 commented 1 year ago

好啊,我目前也是在做KG相关的工作,不过没有继续做补全这个场景了。如果你有兴趣的话咱们可以交流讨论下,你可以把微信号或其它联系方式发送到邮箱:liuxiyang1997@gmail.com