Open yiskw713 opened 5 years ago
Jost Tobias Springenberg, Alexey Dosovitskiy, Thomas Brox, Martin Riedmiller
Department of Computer Science, University of Freiburg
ICLR-2015 workshop
pdf 別の方のまとめ(英語) pytorch実装
Pooling層は次元削減のためだけに必要であるという仮定のもと，AlexNetのmax pooling層を，ストライド2の畳み込み層に置き換え，精度の低下がなかったことを示した．一部のケースでは，精度を上回っている．また，パラメータ削減のために全結合層を，1x1 conv + Global Average Pooling に置き換えたり，カーネルサイズを小さくすることを主張している(VGGと同様の主張)． また，既存の可視化研究であるDeconvNet(#31) や backpropagation(#25 ) よりも詳細な可視化である，Guided Backpropagation を提案している．
モデル構造の提案については，概要の通り．max pooling を2x2 conv に置き換えることでモデルの単純化を図った．また，全結合層を 1x1 conv + GAP に置き換えたり，カーネルサイズを小さくしたりしている．
既存研究であるDeconvNet(#31) や backpropagation(#25 )を組み合わせたもの．
これが visualization の結果．
今までCAM系の実装は簡単のために全結合層なしで，そのままGAPの結果を識別スコアにしてたけど，この論文でそれが間違いでなかったっぽいことがわかった
Feb. 6, 2019
INFO
author
Jost Tobias Springenberg, Alexey Dosovitskiy, Thomas Brox, Martin Riedmiller
affiliation
Department of Computer Science, University of Freiburg
conference
ICLR-2015 workshop
link
pdf 別の方のまとめ(英語) pytorch実装
概要
Pooling層は次元削減のためだけに必要であるという仮定のもと，AlexNetのmax pooling層を，ストライド2の畳み込み層に置き換え，精度の低下がなかったことを示した．一部のケースでは，精度を上回っている．また，パラメータ削減のために全結合層を，1x1 conv + Global Average Pooling に置き換えたり，カーネルサイズを小さくすることを主張している(VGGと同様の主張)． また，既存の可視化研究であるDeconvNet(#31) や backpropagation(#25 ) よりも詳細な可視化である，Guided Backpropagation を提案している．
提案手法
モデル構造
モデル構造の提案については，概要の通り．max pooling を2x2 conv に置き換えることでモデルの単純化を図った．また，全結合層を 1x1 conv + GAP に置き換えたり，カーネルサイズを小さくしたりしている．
Guided Backpropagation
既存研究であるDeconvNet(#31) や backpropagation(#25 )を組み合わせたもの．
これが visualization の結果．
comment
note
今までCAM系の実装は簡単のために全結合層なしで，そのままGAPの結果を識別スコアにしてたけど，この論文でそれが間違いでなかったっぽいことがわかった
date
Feb. 6, 2019