search

yzhangee / NSCaching

Code for NSCaching
35 stars 8 forks source link

hyperparameter setting of TransE and TransD ? #8

Closed quqxui closed 2 years ago

quqxui commented 2 years ago

您好： 我按照train.py中默认参数设置，在FB15K237上运行您的代码中的TransE 和 TransD的时候，得到的性能很差（如下）： optim:adam r:4.0 lamb:0.01, d:200, temp:2.0, lr:0.0001, N_1:30, N_2:30 199 294.58 0.0008 10673.0 0.0005 0.0006 0.0008 0.0010 10637.7 0.0006 0.0008 0.0011 399 593.41 0.0008 10806.1 0.0004 0.0006 0.0009 0.0009 10763.2 0.0006 0.0008 0.0010 599 888.58 0.0008 10830.9 0.0005 0.0006 0.0009 0.0010 10836.0 0.0006 0.0009 0.0011 799 1183.10 0.0007 10901.1 0.0003 0.0005 0.0008 0.0009 10891.2 0.0005 0.0008 0.0011 999 1485.00 0.0007 10922.6 0.0004 0.0006 0.0009 0.0007 10912.7 0.0003 0.0006 0.0009 best_performance: 199 294.58 0.0008 10673.0 0.0005 0.0006 0.0008 0.0010 10637.7 0.0006 0.0008 0.0011 但是在Distmult 和 ComplEx 上的性能就正常。

请问您各个方法的合适参数组合是什么？ 我似乎在github和paper上都没找到， 如果我有什遗漏的地方请务必告知。

期待您的解答！

yzhangee commented 2 years ago

具体参数本地没备份，我记得loss是pair loss，其他的参数也适当调一下，比如用hyperopt调参，应该不麻烦的。

gyq510 commented 2 years ago

您好： 我按照train.py中默认参数设置，在FB15K237上运行您的代码中的TransE 和 TransD的时候，得到的性能很差（如下）： optim:adam r:4.0 lamb:0.01, d:200, temp:2.0, lr:0.0001, N_1:30, N_2:30 199 294.58 0.0008 10673.0 0.0005 0.0006 0.0008 0.0010 10637.7 0.0006 0.0008 0.0011 399 593.41 0.0008 10806.1 0.0004 0.0006 0.0009 0.0009 10763.2 0.0006 0.0008 0.0010 599 888.58 0.0008 10830.9 0.0005 0.0006 0.0009 0.0010 10836.0 0.0006 0.0009 0.0011 799 1183.10 0.0007 10901.1 0.0003 0.0005 0.0008 0.0009 10891.2 0.0005 0.0008 0.0011 999 1485.00 0.0007 10922.6 0.0004 0.0006 0.0009 0.0007 10912.7 0.0003 0.0006 0.0009 best_performance: 199 294.58 0.0008 10673.0 0.0005 0.0006 0.0008 0.0010 10637.7 0.0006 0.0008 0.0011 但是在Distmult 和 ComplEx 上的性能就正常。

请问您各个方法的合适参数组合是什么？ 我似乎在github和paper上都没找到， 如果我有什遗漏的地方请务必告知。

期待您的解答！

您好，我想问一下您是否调出来了合适的参数，我也发现trans系列的效果不太好，能否与您交流，谢谢！

gyq510 commented 2 years ago

具体参数本地没备份，我记得loss是pair loss，其他的参数也适当调一下，比如用hyperopt调参，应该不麻烦的。

希望作者可以公开相关的参数设置，大家一起学习，谢谢！

quqxui commented 2 years ago

您好： 我按照train.py中默认参数设置，在FB15K237上运行您的代码中的TransE 和 TransD的时候，得到的性能很差（如下）： optim:adam r:4.0 lamb:0.01, d:200, temp:2.0, lr:0.0001, N_1:30, N_2:30 199 294.58 0.0008 10673.0 0.0005 0.0006 0.0008 0.0010 10637.7 0.0006 0.0008 0.0011 399 593.41 0.0008 10806.1 0.0004 0.0006 0.0009 0.0009 10763.2 0.0006 0.0008 0.0010 599 888.58 0.0008 10830.9 0.0005 0.0006 0.0009 0.0010 10836.0 0.0006 0.0009 0.0011 799 1183.10 0.0007 10901.1 0.0003 0.0005 0.0008 0.0009 10891.2 0.0005 0.0008 0.0011 999 1485.00 0.0007 10922.6 0.0004 0.0006 0.0009 0.0007 10912.7 0.0003 0.0006 0.0009 best_performance: 199 294.58 0.0008 10673.0 0.0005 0.0006 0.0008 0.0010 10637.7 0.0006 0.0008 0.0011 但是在Distmult 和 ComplEx 上的性能就正常。 请问您各个方法的合适参数组合是什么？ 我似乎在github和paper上都没找到， 如果我有什遗漏的地方请务必告知。 期待您的解答！

您好，我想问一下您是否调出来了合适的参数，我也发现trans系列的效果不太好，能否与您交流，谢谢！

主要是pair loss 的问题， 维度和margin 也有影响

gyq510 commented 2 years ago

您好： 我按照train.py中默认参数设置，在FB15K237上运行您的代码中的TransE 和 TransD的时候，得到的性能很差（如下）： optim:adam r:4.0 lamb:0.01, d:200, temp:2.0, lr:0.0001, N_1:30, N_2:30 199 294.58 0.0008 10673.0 0.0005 0.0006 0.0008 0.0010 10637.7 0.0006 0.0008 0.0011 399 593.41 0.0008 10806.1 0.0004 0.0006 0.0009 0.0009 10763.2 0.0006 0.0008 0.0010 599 888.58 0.0008 10830.9 0.0005 0.0006 0.0009 0.0010 10836.0 0.0006 0.0009 0.0011 799 1183.10 0.0007 10901.1 0.0003 0.0005 0.0008 0.0009 10891.2 0.0005 0.0008 0.0011 999 1485.00 0.0007 10922.6 0.0004 0.0006 0.0009 0.0007 10912.7 0.0003 0.0006 0.0009 best_performance: 199 294.58 0.0008 10673.0 0.0005 0.0006 0.0008 0.0010 10637.7 0.0006 0.0008 0.0011 但是在Distmult 和 ComplEx 上的性能就正常。 请问您各个方法的合适参数组合是什么？ 我似乎在github和paper上都没找到， 如果我有什遗漏的地方请务必告知。 期待您的解答！

您好，我想问一下您是否调出来了合适的参数，我也发现trans系列的效果不太好，能否与您交流，谢谢！

主要是pair loss 的问题， 维度和margin 也有影响

感谢您的回复！请您在修正之后是否得到了较为接近的结果呢？谢谢