search

PaddlePaddle / RocketQA

🚀 RocketQA, dense retrieval for information retrieval and question answering, including both Chinese and English state-of-the-art models.
Apache License 2.0
764 stars 130 forks source link

zh_dureader_ce和zh_dureader_ce_v2给出的结果一样 #108

Open sherryhongxy opened 1 year ago

sherryhongxy commented 1 year ago

在DuReader-Retrieval-Baseline的dev数据集上跑的结果 评测下来都是：{"MRR@10": 0.5428611111111112, "QueriesRanked": 2000, "recall@1": 0.418, "recall@50": 0.9175} 而且抽样看了每条记录的结果也都是一样的 问题：

  1. zh_dureader_ce和zh_dureader_ce_v2给出的结果为什么会一样？
  2. 这两个模型不都是在DuReader数据上训练的，为什么评测效果这么差？