关于P@N测试的一个问题

thunlp / NRE

Neural Relation Extraction, including CNN, PCNN, CNN+ATT, PCNN+ATT

MIT License

810 stars 309 forks source link

关于P@N测试的一个问题 #21

Closed ZhixiuYe closed 6 years ago

ZhixiuYe commented 6 years ago

你好，我想问一下这个P@N测试是怎么做的？这一步的ground_truth label是用的distant supervision的结果还是通过人工的方式来判断呢？我认为是应该用人工的方式判断，但https://github.com/thunlp/TensorFlow-NRE 这份代码中，做P@N测试用的是测试集上的distant supervision得到的结果作为ground_truth。望告知，谢谢！

Mrlyk423 commented 6 years ago

P@N这里用的是distant supervision作为测试。选择使用distant supervision或者人工的方式跟评测指标无关，这里为了测试不同的句子设置下的模型效果，是可以采用distant supervision；之前论文使用人工评测的实验一般是测试集包含新实体，无法采用distant supervision进行评测。

ZhixiuYe commented 6 years ago

明白了，谢谢！