Open BrambleXu opened 3 years ago
FEVER这个数据集在创建的时候,发现标注者很难通过”不添加not的方式“来创建相反的claims。因为not这种人工创建的浅显规律,很容易被模型学习到,并对需要进行推测的task造成影响。而这篇论文提出了两个指标,用来衡量这些浅显规律造成的影响。
一句话总结
FEVER这个数据集在创建的时候,发现标注者很难通过”不添加not的方式“来创建相反的claims。因为not这种人工创建的浅显规律,很容易被模型学习到,并对需要进行推测的task造成影响。而这篇论文提出了两个指标,用来衡量这些浅显规律造成的影响。
资源
概要
要解决的问题
解决方法
一些注意点