Closed zhliuworks closed 8 months ago
第一个问题在评估常见问题这个章节中已经有解释了哈。这个是因为Llama模型一般是将汉字切分成3个字符,为了保证一篇文档输入模型分词后不超过4096的限制,所以我们将文档最大长度设置成了4096/3=1228。在我们对比模型中,Llama模型是对中文切分最细的,所以只要不超过Llama模型的分词长度,其他模型也肯定可以塞得下。
qwen我们batch size设置的是1,也就是不pad,所以left和right是一样的。
感谢大佬!
请教两个问题:
https://github.com/SkyworkAI/Skywork/blob/main/eval/eval_loss.py#L93 这里,请问为什么要除3?
https://github.com/QwenLM/Qwen/blob/main/README_CN.md?plain=1#L269 这里,Qwen采用了padding_side='left',而评测脚本eval_loss.py中:
[更新] padding_side='left'或者'right'测出来指标一样