Skywork series models are pre-trained on 3.2TB of high-quality multilingual (mainly Chinese and English) and code data. We have open-sourced the model, training data, evaluation data, evaluation methods, etc. 天工系列模型在3.2TB高质量多语言和代码数据上进行预训练。我们开源了模型参数,训练数据,评估数据,评估方法。
我使用bash bash_scripts/skywork_eval_loss.sh来评估chatglm3-6b在zh_general.jsonl上的ppl,结果是42.0536,和论文中提供的结果(7.47)不一致。评估chatglm2-6b在zh_general.jsonl上的ppl,结果是inf