Empirical Evaluation of Rectified Activations in Convolutional Network

[agatan]

https://arxiv.org/abs/1505.00853

ReLU 一族について統一的に評価したよという論文。

新しい RReLU(Randomized RReLU) も評価して良い結果が出たことを示している。

RReLU は、LeakyReLU + 負のときの傾きをランダムにしたもの。

結果からわかることは、

• ReLU よりも LeakeyReLU variants のほうが大体良い
• データセットのサイズや難しさによってはほぼ差はない
• ReLU のときによく言われていた「特徴量が sparse になるからよい」みたいなのは嘘
  • 負の activation も残したほうが精度が良いから