[2020/04/09] Machine Learning 輪講

FilterResponseNormalization (http://arxiv.org/abs/1911.09737) に次ぐ BatchNormalization を超えたい論文。従来の多くの研究は Normalization と Activation をそれぞれ別個にデザインしている。この 2 つは同時に考慮したほうが良い性能が出せるのでは？ということで、進化計算で頑張って探索した。

性能評価がかなりしっかりしている。（探索はもとより評価に使ったリソースだけでも相当...）

Image Classification: ImageNet
- ResNet50, 101, MobileNetV2, MNasNet-B1, EfficientNet-B0, B5
Object Detection / Segmentation: MS-COCO
- Mask R-CNN ResNet50, 101
Image Synthesis
- BigGAN

JunpeiTakubo commented 4 years ago

Approximate Feature Collisions in Neural Nets

https://papers.nips.cc/paper/9713-approximate-feature-collisions-in-neural-nets.pdf

こちらの方が説明が丁寧だったので、こちらもご参照ください。。（https://openreview.net/forum?id=H1gDgn0qY7） Adversarial Examples(NNの分類器に対する脆弱性攻撃)の文脈で最近、insensitivity(inputが”全く”異なるのに、同じラベル付けがされてしまう現象)が発生してしまうことが注目されている。

この論文ではこの問題に対して

その発生原因の1つがReLu 活性化関数であると説明していて、
Relu 活性化後同一の処理がなされてしまうexamples群が入る polytopeが、Relu活性化前のinput空間に存在することを示し、
そのpolytopeの頂点を求める手法を提案していました。

nyk510 commented 4 years ago

Do CNNs Encode Data Augmentations?

https://arxiv.org/abs/2003.08773

スケール・拡大縮小などなど、いろいろあるAugmentationがCNNのネットワークのどこで符号化されてるのかに関する議論をしている論文

何をやっているか

画像を2枚入力して、二枚の画像のうちどちらが強いAugmentationがかかっているかを pairwise rank loss で学習させる
入力する特徴は frozen な resnet の各層から抽出したものを使い、モデルは線形モデルを使う (これによって層ごとの重要度を重みで比較できるようになるのが狙い)

結果

low-level な変換 (輝度明度など色の変換) のときは入力に近い浅い層のほうが重みが大きくスケール変換等の high-level な変換はあとの層の重みが大きい (figure 5)
前半半分だけ・後半だけの特徴を使うと前者のほうが性能がよく、浅い層で encode していると示唆される (table 2)
rank loss を使って事前学習 (NLPのBertのようなイメージ) とかできたらいいねーみたいな議論もあり (section 7)

wantedly / machine-learning-round-table