Closed autumnCanTell closed 9 months ago
您先看下这两个Issue,是否您的计算方法有误?https://github.com/SkyworkAI/Skywork/issues/32,https://github.com/SkyworkAI/Skywork/issues/43
论文里Table 6报告的Skywork-13B的6个domain的ppl值分别为:11.58 21.84 4.76 17.28 4.92 6.82。请问最后的平均ppl:9.42是如何计算的。
您好,Average PPL是根据avg loss计算出来的。不是直接对所有领域的PPL取平均,而是对所有的loss取平均后得到avg loss,然后取指数转换成PPL。这样是避免有一些语料库出现极端大的PPL,影响最终的效果。物理含义是将多领域语料库看成是一个大的语料库,Average PPL是这个大语料库上的PPL。
好的,感谢!
您的是哪个模型对不上?结果是怎样的,请贴一下