search

SkyworkAI / Skywork

Skywork series models are pre-trained on 3.2TB of high-quality multilingual (mainly Chinese and English) and code data. We have open-sourced the model, training data, evaluation data, evaluation methods, etc. 天工系列模型在3.2TB高质量多语言和代码数据上进行预训练。我们开源了模型参数，训练数据，评估数据，评估方法。
Other
1.21k stars 111 forks source link

评测数据集MOCK_GSM8K_TEST使用方式 #54

Closed cafeii closed 9 months ago

cafeii commented 9 months ago

您好，我正在尝试在其他模型上复现该实验，想请问在这个实验中，这个数据集的使用方式是否与原版的GSM8k有所不同？因为我没有看到有question相关的prompt部分

zhao1iang commented 9 months ago

MOCK_GSM8K_TEST集和用于衡量语言模型的损失，所以是question和answer拼接起来的，当成一个文档。原版的GSM8K train和 test也需要将question和answer拼接起来。