search

SkyworkAI / Skywork

Skywork series models are pre-trained on 3.2TB of high-quality multilingual (mainly Chinese and English) and code data. We have open-sourced the model, training data, evaluation data, evaluation methods, etc. 天工系列模型在3.2TB高质量多语言和代码数据上进行预训练。我们开源了模型参数，训练数据，评估数据，评估方法。
Other
1.21k stars 111 forks source link

关于Chatglm的ppl #75

Open hxsz1997 opened 7 months ago

hxsz1997 commented 7 months ago

我使用bash bash_scripts/skywork_eval_loss.sh来评估chatglm3-6b在zh_general.jsonl上的ppl，结果是42.0536，和论文中提供的结果（7.47）不一致。评估chatglm2-6b在zh_general.jsonl上的ppl，结果是inf

zhao1iang commented 6 months ago

无论是42还是Inf都不是一个正常的值。这个似乎是模型参数没有加载正确导致参数是随机的，或者tokenizer不对，您可以检查下模型加载是否正确，是否能正常的根据prompt进行输出。