search

iflytek / cino

CINO: Pre-trained Language Models for Chinese Minority (少数民族语言预训练模型)
http://cino.hfl-rc.com
Apache License 2.0
212 stars 28 forks source link

gradient_acc参数 #18

Closed rela0426 closed 2 years ago

rela0426 commented 2 years ago

能帮忙解释一下gradient_acc参数嘛 ==loss /= self.config.gradient_acc==代码中，用到了gradient_acc参数，所以不太明白这句代码的意思。在这里插入图片描述

GeekDream-x commented 2 years ago

你好，这个参数表示梯度累积的次数，帮助在计算资源（如显存）有限的情况下实现与较大batch size等价的训练过程。