数据集 - Githubissues

AlibabaResearch / DAMO-ConvAI

DAMO-ConvAI: The official repository which contains the codebase for Alibaba DAMO Conversational AI.

MIT License

1.1k stars 178 forks source link

数据集 #94

Closed SXxinxiaosong closed 8 months ago

SXxinxiaosong commented 8 months ago

您好，请问boolq multirc boolnq ambigqa数据集的测试集为空？

SXxinxiaosong commented 8 months ago

有些测试集的golden answer还是空的

SXxinxiaosong commented 8 months ago

请您帮忙解答一下

debby1103 commented 8 months ago

“您好，请问boolq multirc boolnq ambigqa数据集的测试集为空？” --- 请参照 #56 ，我们的数据集与先前的多任务问答数据集一致，即UnifiedQA (paper)(code)，ProQA (paper) (code)，通过训练集降采样构造Open Long-tailed场景。与UnifiedQA一致，对于test为空的任务，我们使用dev进行测试。
"有些测试集的golden answer还是空的" --- 不同数据集所需的测试协议不同，并非所有数据集都有golden answer，具体的处理方式在dataset_processors.py。