search

THU-KEG / MAVEN-dataset

Source code and dataset for EMNLP 2020 paper "MAVEN: A Massive General Domain Event Detection Dataset".
MIT License
151 stars 39 forks source link

关于测试数据集最后结果的问题 #11

Closed meihua0504 closed 2 years ago

meihua0504 commented 2 years ago

作者您好 我运行成功MOGANED模型得到了训练后dev的准确率值，召回率值，f1值，进行--eval得到result.jsonl。我应该怎样做才能得到最后测试集的结果呢？？我看到有evaluate.py但是不能运行！ 期待您的回复。 十分感谢，谢谢。

WBWhiteBeard commented 2 years ago

应该是有个test_gold.jsonl文件的，那个evaluate.py里面写的，但是作者没有提供。 https://competitions.codalab.org/competitions/27320#participate-submit_results 可能要在这个链接里，提交测试结果。

Bakser commented 2 years ago

您好，请阅读README。我们的测试集标注不公开，测试集结果请提交到CodaLab获得。