Normalization

[jinmang2]

BatchNorm vs LayerNorm

• BatchNorm은 각 feature별 모든 샘플에 대해 정규화를 해주고
• LayerNorm은 각 샘플 별 모든 feature value에 대해 정규화를 해준다.
• BatchNorm이 잘되는 이유를 처음 제안한 논문에서는 ICS(Internal Covariate Shift)를 줄여준다고 언급했으나, 후속 논문에서 이를 부정하고 잘 되는 이유에 대해 gradient bounded를 언급한다.
• https://papers.nips.cc/paper/2018/file/905056c1ac1dad141560467e0a99e1cf-Paper.pdf
• https://gradientscience.org/batchnorm/