luhua-rain / MRC_Competition_Dureader

机器阅读理解 冠军/亚军代码及中文预训练MRC模型
730 stars 151 forks source link

有个问题想请教大神,分数如此之高的窍门是什么 #12

Open fooSynaptic opened 5 years ago

fooSynaptic commented 5 years ago

有个问题想请教大神,为何我跑了大大小小很多歌Dureader的项目,包括百度dureader的原项目,bleu和l-rougue从来没有超过个位数,为何你们的分数却如此之高。

luhua-rain commented 5 years ago

个位数?是代码错误,不会是其他原因

fooSynaptic commented 5 years ago

@basketballandlearn 我都是用百度的原数据来跑的,代码没怎么变过,是否是因为分数没有乘以100的原因,因为我看到有人是这样计算bleu的:

                ## Calculate bleu score
                score = corpus_bleu(list_of_refs, hypotheses)
                fout.write("Bleu Score = " + str(100*score))
luhua-rain commented 5 years ago

那你还是自己写个rouge-L或者F1来计算每一条数据的得分,然后取平均来看看。