有关 ddf.py文件中self.std and self.mean 的疑问

Holmes-GU commented 3 years ago

在ddf.py文件的FilterNorm，先对tensor减去均值再除以方差进行规范化，但是在规范化后为什么还要将可学习的self.std乘回去，self.mean加回去呢？并且为什么两种类型的filternorm里面都没有把self.mean加回去而是仅仅乘了self.std呢？

theFoxofSky commented 3 years ago

强行将所有输入约束在 0均值1方差并不是一个很好的特性。常见的归一化方法（如BN、LN）通常设置可以学习的参数，在有必要时恢复输入的均值和方差。

这里，FilterNorm的“恢复设置“是可选的。在实验中，我们发现仅恢复std对分类任务有较好的帮助。但是在其他任务中，该设置是否最优仍有待研究。

Holmes-GU commented 3 years ago

font{
    line-height: 1.6;
}
ul,ol{
    padding-left: 20px;
    list-style-position: inside;
}

明白。谢谢您的回复。

                            ellery-holmes

                                ***@***.***

    签名由
    网易邮箱大师
    定制

在2021年11月1日 ***@***.***> 写道：

强行将所有输入约束在 0均值1方差并不是一个很好的特性。常见的归一化方法（如BN、LN）通常设置可以学习的参数，从而在有必要时恢复输入的均值和方差。这里，FilterNorm的“恢复设置“是可选的，在我们的实验中，发现仅恢复std对分类任务有较好的帮助。但是在其他任务中，该设置是否最优仍有待研究。

—You are receiving this because you authored the thread.Reply to this email directly, view it on GitHub, or unsubscribe.Triage notifications on the go with GitHub Mobile for iOS or Android.

theFoxofSky / ddfnet

有关 ddf.py文件中self.std and self.mean 的疑问 #27