无法复现HGT在HGBn-ACM数据集上的结果

BUPT-GAMMA / OpenHGNN

This is an open-source toolkit for Heterogeneous Graph Neural Network(OpenHGNN) based on DGL.

Apache License 2.0

867 stars 143 forks source link

无法复现HGT在HGBn-ACM数据集上的结果 #210

Closed imaginistLi closed 8 months ago

imaginistLi commented 10 months ago

Readme中的结果：

我的结果

lazishu2000 commented 8 months ago

似乎是HGBn-ACM数据集本身出现问题，导致模型在该数据集上的表现都有所降低。我们目前正在解决这个问题，如果你想测试HGT的模型性能，欢迎在其他数据集上先进行测试，HGBn-ACM的问题解决后会在这里评论回复。谢谢。

lazishu2000 commented 8 months ago

你好，看起来mini-batch训练方式会对该数据集上的准确率产生一定影响。如果要复现readme中的模型效果请运行命令： python main.py -m HGT -t node_classification -d HGBn-ACM -g 0 --use_best_config 在更新之后这会启动默认的full-batch训练，得到的结果大致与readme相符。