search

huawei-noah / VanillaNet

MIT License
813 stars 57 forks source link

leakyrelu #36

Open adduu345 opened 1 year ago

adduu345 commented 1 year ago

We use leakyrelu to implement the deep training technique.

x = torch.nn.functional.leaky_relu(x,self.act_learn)

这行代码，self.act_learn=1, 相当于不做激活， 它的作用仅仅是将网络变深吗？