Closed ZiQiangXie closed 4 years ago
在prune_utils.py中,对激活值的处理中,这一句next_bn.runningmean.data.sub(offset),这里为什么用的是sub,这里有点不明白?running_mean不应该是对数据统计的均值吗?
mean的确是统计来的,但这里只是暂时拿来存放偏移值,让计算结果偏差减小,但在后面的微调中整个权重和统计的均值方差都会变化,适应新的状态;之所以是sub,是因为bn层的操作是减去均值,而均值sub偏差,最终就是加上偏差了。
明白了,感谢感谢!
在prune_utils.py中,对激活值的处理中,这一句next_bn.runningmean.data.sub(offset),这里为什么用的是sub,这里有点不明白?running_mean不应该是对数据统计的均值吗?