Deep Networks with Stochastic Depth

[yiskw713]

INFO

author

Gao Huang, Yu Sun, Zhuang Liu, Daniel Sedra, Kilian Weinberger

affiliation

conference or year

arXiv 2016

link

pdf

概要

dropoutが訓練中NNにおけるノードを一定確率で取り除くことで過学習を防いでいるが，提案されているStochastic Depthでは訓練中NNの層を一定確率で取り除くことでそれを可能にしている． Stochastic Depthにおける層を取り除く確率は，上図のように linear decay させている．

検証

新規性

議論，展望

Comment

• 実装がめんどくさそう

date

May 12th, 2020