Closed KYLN24 closed 1 year ago
使用 CollieDatasetForTraining 在 helm 风格下进行分类评测时,如果模型生成的长度没有达到max new token,collie 也会截取 max new token 个 token 进行评测。且截取的位置存在问题。
如使用 MMLU 测评时,模型只会输出选项 ABCD,当max new token>1时,会出现这一错误。
使用 CollieDatasetForTraining 在 helm 风格下进行分类评测时,如果模型生成的长度没有达到max new token,collie 也会截取 max new token 个 token 进行评测。且截取的位置存在问题。
如使用 MMLU 测评时,模型只会输出选项 ABCD,当max new token>1时,会出现这一错误。