OpenMOSS / CoLLiE

Collaborative Training of Large Language Models in an Efficient Way
https://openlmlab-collie.readthedocs.io
Apache License 2.0
410 stars 58 forks source link

[BUG] 使用 CollieDatasetForClassification 在 helm 风格下进行分类评测时,max new token 截取存在问题 #118

Closed KYLN24 closed 1 year ago

KYLN24 commented 1 year ago

使用 CollieDatasetForTraining 在 helm 风格下进行分类评测时,如果模型生成的长度没有达到max new token,collie 也会截取 max new token 个 token 进行评测。且截取的位置存在问题。

如使用 MMLU 测评时,模型只会输出选项 ABCD,当max new token>1时,会出现这一错误。