In-Place Activated BatchNorm for Memory-Optimized Training of DNNs

[lisosia]

一言でいうと

activationが逆変換可能(~= 一様増加, LeakeyReluなど）の場合、BatchNormを少し修正すれば、学習時のbatchnorm+activation後のtensorの保存を省略でき、最大50%メモリ省略できる。

論文リンク

https://arxiv.org/pdf/1712.02616.pdf

著者/所属機関

Mapillary Research

投稿日付(yyyy/MM/dd)

2018/10/26

概要

新規性・差分

手法

結果

コメント

batchsize同条件ならbatchnormより劣化する？
また、batchsize同条件の精度比較や、メモリ結局いくら使うかの表グラフがないのが解せない。

実装： https://github.com/mapillary/inplace_abn