search

sunnweiwei / GenRet

Learning to Tokenize for Generative Retrieval (NeurIPS 2023)
38 stars 3 forks source link

实验结果问题 #10

Open yangyyyyyyyyyy opened 5 months ago

yangyyyyyyyyyy commented 5 months ago

你好，很欣赏您的作品，我在复现的时候，结果不是很好，对model-2进行test时，结果很不好，这种结果是正常的吗？Test {'R@1': 0.0005108556832694764, 'R@10': 0.008173690932311623, 'R@100': 0.04559386973180077, 'MRR@10': 0.0020607553366174054, 'MRR@100': 0.0032223717989086588, 'nDCG@10': 0.003454998924754849} {'R@1': 0.0006584362139917696, 'R@10': 0.010534979423868314, 'R@100': 0.05728395061728395, 'MRR@10': 0.002656084656084656, 'MRR@100': 0.004113560418733609, 'nDCG@10': 0.004453109725239583} {'R@1': 0.0, 'R@10': 0.0, 'R@100': 0.005128205128205128, 'MRR@10': 0.0, 'MRR@100': 0.00013748811489921317, 'nDCG@10': 0.0} ![Uploading 截图20240328103802.png…]()

sunnweiwei commented 5 months ago

您好！

这个结果看上去不太正常。可以看下model-2对所有doc一共生成了多少不同的doc id吗？