search

TmacMai / CoMPILE_Inductive_Knowledge_Graph

Communicative Message Passing for Inductive Relation Reasoning（AAAI-2021）
MIT License
30 stars 4 forks source link

Nell_v4 数据复现效果很差 #2

Closed Tebmer closed 2 years ago

Tebmer commented 2 years ago

作者你好，我用默认的参数复现您的代码，其他数据集都基本达到论文的结果，但是在Nell v4上效果很差，Hits10只有37.4（论文中是75）。所以想请问您训练Nell v4数据集的时候的具体参数，感谢。

TmacMai commented 2 years ago

emm这确实差得有点离谱，你可以试试改改batch size，设为16或者64，128，还不行的话我回到学校再跑跑看

Tebmer commented 2 years ago

感谢您的回复，我尝试了更改batch size 和hop，但nell_v4_ind测试结果还是不行，顶多到60。训练时候auc是没问题的，九十多。但是测试就很差...

Tebmer commented 2 years ago

作者您好，我也尝试了调试其他的参数，但是效果依然不行。。。 请问您能提供下具体的Nell_v4训练参数吗 : ) 非常感谢！！

TmacMai commented 2 years ago

好的 我过几天回校看看

TmacMai commented 2 years ago

我跑的是batch size设置为16的结果，在两个服务器都hits@10都达到了74+，训练好的模型已经上传。当batch size设置为32的话，确实会出现hits@10莫名很低的情况

TmacMai commented 2 years ago

你可以直接运行python test_ranking.py -d nell_v4_ind -e compile_nell_v4_ind2 测试 训练时我的命令是python train.py -d nell_v4 -e compile_nell_v4_ind2 --batch_size 16

TmacMai commented 2 years ago

如果还是训练不出来的话，或许可以调调random seeds

Tebmer commented 2 years ago

非常感谢您耐心的回复！ 那我继续尝试下💪🏻