A curated list of awesome knowledge graph tutorials, projects and communities.
736
stars
120
forks
source link
EMNLP-2019/11-Are We Modeling the Task or the Annotator? An Investigation of Annotator Bias in Natural Language Understanding Datasets #265
Open
BrambleXu opened 4 years ago
Summary:
这篇文章的出发点挺有意思的。外包标注任务已经是业界里的一个常见操作。但是我们很少关注标注者在标注的时候，会把自身的标注习惯带入到标注数据里。这篇文章则是调查了这种annotator bias。如果把annotator identifiers作为特征，模型会表现得更好。还有一点有意思的是，如果annotator只标注了测试集，没有标注训练集的话，那么训练得到的模型，在测试集上的泛化效果会不怎么样。所以说在标注的时候，同样一个annotator，应该同时标注训练集和测试集。
Resource:
Paper information:
Notes:
Model Graph:
Result:：
Thoughts:
Next Reading: