search

qikunxun / JMRL

Code and data for the paper "End-to-end Learning of Logical Rules for Enhancing Document-level Relation Extraction"
5 stars 1 forks source link

input_theta [theta] #4

Open jinyehui02 opened 2 weeks ago

jinyehui02 commented 2 weeks ago

作者您好！请问input_theta [theta]是怎么取的呢

qikunxun commented 2 weeks ago

您好，感觉关注我们的工作。theta默认值为-1，也可以参考：https://github.com/thunlp/DocRED/tree/master/code 进行设置

jinyehui02 commented 2 weeks ago

评估数据集的语句看见您加了这个参数，这个参数的选择对结果也有一定的影响

qikunxun commented 2 weeks ago

我们论文汇报的结果是这样得出的：

  1. 训练log会打印出验证集最佳F1的步数，找到该步数，会看到对应的theta，例如：

| step 1 | time: 11.56 total_recall 2620 ALL : Theta 0.4434 | F1 0.4287 | AUC 0.3246 Ignore ma_f1 0.3611 | input_theta 0.4434 test_result F1 0.3573 | AUC 0.2300 | epoch 272 | time: 28.62s

  1. 使用这个theta（0.4434）作为test.py的输入，得到论文中的评估结果；
jinyehui02 commented 2 weeks ago

好的，感谢您的帮助！