Open Qiyuan-Z opened 2 years ago
https://qiyuan-z.github.io/2022/01/18/PyTorch%E5%8D%B7%E7%A7%AF%E4%B8%8EBatchNorm%E7%9A%84%E8%9E%8D%E5%90%88/
原理卷积的工作： z=w x+bBN的工作： y=\gamma \frac{z-\mu}{\sqrt{\sigma^{2}+\epsilon}}+\beta把卷积带入BN： y=\gamma \frac{w x+b-\mu}{\sqrt{\sigma^{2}+\epsilon}}+\beta融合后的新卷积： w^{\prime}=\gamma \frac{w}{\sqrt{\sigma^{
https://qiyuan-z.github.io/2022/01/18/PyTorch%E5%8D%B7%E7%A7%AF%E4%B8%8EBatchNorm%E7%9A%84%E8%9E%8D%E5%90%88/
原理卷积的工作： z=w x+bBN的工作： y=\gamma \frac{z-\mu}{\sqrt{\sigma^{2}+\epsilon}}+\beta把卷积带入BN： y=\gamma \frac{w x+b-\mu}{\sqrt{\sigma^{2}+\epsilon}}+\beta融合后的新卷积： w^{\prime}=\gamma \frac{w}{\sqrt{\sigma^{