RichardHGL / WSDM2021_NSM

Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals. WSDM 2021.
130 stars 22 forks source link

about q_input #20

Closed sitaocheng closed 1 year ago

sitaocheng commented 2 years ago

你好,我试图尝试不同的q_input (basic_dataset中的query_text)对实验结果的影响。遇到如下问题:

我发现: 在NSM/data/basic_dataset.py文件中调用_prepare_dep函数会将训练数据的.dep文件的依存结果解析出来,但是query_text只取了每个token,相当于直接取问句的每个token。

改动: 注释掉_prepare_dep函数的调用,在_prepare_data函数中直接解析问句(question)的token,来构造query_text(这部分原来是被注释的)。

结果: 经过上述改动,NSM, NSM+h teacher的测试F1 H1都下降了2%, NSM+h student也下降了一些。

问题: 想问一下训练数据.dep中的依存树对结果是否有直接影响,如果有,是在什么位置产生影响?

感谢!

RichardHGL commented 2 years ago

应该是无影响的, 你可以尝试将两者输出到文件进行对比,看看是否标点符号处理不同之类

sitaocheng commented 2 years ago

好的谢谢~