Open lindabigwheel opened 2 years ago
eprstmt分析badcase, 发现数据集质量不靠谱, 于是众包标注了下test数据集, 很多是模棱两可, 提交 eprstmt 得分86.59, 搞笑了。。
Human performance 说明的不是任务难度、或算法天花板, 而是说明数据集质量不行啊 , 刷这个榜没太大意义。。
你好,可以方便提供您这边标注的语料结果给我们么?我们可以参考下具体看下哪些case比较模棱两可~
感谢反馈问题。我们这边测试出human performance的准确率是90%,看上去当前最好的模型解决这个人类的效果。
eprstmt分析badcase, 发现数据集质量不靠谱, 于是众包标注了下test数据集, 很多是模棱两可, 提交 eprstmt 得分86.59, 搞笑了。。
Human performance 说明的不是任务难度、或算法天花板, 而是说明数据集质量不行啊 , 刷这个榜没太大意义。。