iflytek / cino

CINO: Pre-trained Language Models for Chinese Minority (少数民族语言预训练模型)
http://cino.hfl-rc.com
Apache License 2.0
212 stars 28 forks source link

gradient_acc参数 #18

Closed rela0426 closed 2 years ago

rela0426 commented 2 years ago

能帮忙解释一下gradient_acc参数嘛 ==loss /= self.config.gradient_acc==代码中,用到了gradient_acc参数,所以不太明白这句代码的意思。在这里插入图片描述

GeekDream-x commented 2 years ago

你好,这个参数表示梯度累积的次数,帮助在计算资源(如显存)有限的情况下实现与较大batch size等价的训练过程。