ghost
commented
5 years ago 这个问题作者在文中有提到，以下是文章部分段落 Evaluation settings. We predicted a relation label for each sentence, instead of for each bag. For example, the task in Figure 1 needs to map the first sentence to relation “BornIn” and the second sentence to “EmployedBy”. Since the data obtained from distant supervision are noisy, we randomly chose 300 sentences and manually labeled the relation type for each sentence to evaluate the classification performance. We adopted accuracy and macro-averaged F1 as the evaluation metric.
我在研究您的论文时，产生了一个疑惑： 你的模型/方法破坏了training set & testing set的原始分布。
其他的RL工作都是基于改变模型参数来适配拟合数据的，也就是不会改变training data & testing data。这样就保证了training set & testing set的原始分布。
但是这篇文章的工作核心是：用RL来对原始training数据的noise bag进行剔除，通过标签Y改变input data。这在training阶段是OK的，这样做确实可以减少noise data对我的分类模型的干扰。但是在testing阶段还能这样吗？testing set都没label了，如何反馈reward给policy module进行testing set中的bag的剔除？那么我在testing phrase还如何work呢？
我看了代码，发现in testing phrase，确实是直接对test set用CNN做关系分类。
谢谢。