search

GCYZSL / MoLA

89 stars 3 forks source link

关于commonsense_qa和openbook_qa的preparation和evaluation代码 #17

Open Yang-Yan-Yang-Yan opened 1 week ago

Yang-Yan-Yang-Yan commented 1 week ago

您好，我看到论文中展示了在commonsense_qa和openbook_qa上的微调效果，请问能否提供这两个数据集的preparation和evaluation代码，谢谢。

GCYZSL commented 1 week ago

谢谢您对我们工作的关注！所有data的下载链接是: https://drive.google.com/file/d/1-AHDmTKnds9JTJPFr1CFCqneGjj1HB0M/view?usp=sharing.

对于QA tasks 的evaluation, 您可以使用原本的scienceQA的evaluation_scienceqa.py代码。对于NLP tasks, 您可以将evaluation_scienceqa.py 200行改为 pattern = re.compile(r'Answer: ([^\.]*)')。

谢谢！

Yang-Yan-Yang-Yan commented 6 days ago

好的，非常感谢！

GCYZSL commented 3 days ago

感谢您的关注！