futakw
commented
3 years ago ＜モチベーション・導入が興味深いのでまとめ＞
1 . CNNモデルは、人間には程遠い ・Generalizing: 汎化性能が全然違う（train, testのdistributionの違いに対応できない。) ・Random image corruptionに弱い。(BENCHMARKING NEURAL NETWORK ROBUSTNESS TO COMMON CORRUPTIONS AND PERTURBATIONS https://openreview.net/pdf?id=HJz6tiCqYm) ・AEに弱い ・texture bias (Imagenet trained CNN ..., BagNet: https://openreview.net/pdf?id=SkfMWhAqYQ)
- texture-biasにアプローチした研究 AT trained CNN はtexture bias が少ない(Interpreting adversarially trained convolutional neural networks.) ジグゾーパズルを解くことで汎化性能を向上した研究(Domain generalization by solving jigsaw puzzles) Stylized-Imagenetで学習したらロバスト性あがった（Imagenet-trained CNNs are biased~)
＜問い＞texture-biasは、distribution shift, AE, image corruptionの共通の理由なのだろうか？ この問いに答えようとした論文。 ・Deep shape matching. -> 複雑なtextureには弱い ・Imagenet trained CNN ~, Jigsaw puzzle ~, Learning Robust Global Representations by ~, -> 複雑で難しいタスク（？）
Related works. その他 ・CNN は, sketchに対して精度が低い。(On the Performance of GoogLeNet and AlexNet Applied to Sketches)
＜1つの示唆＞CNNはlocal featureに依存している。
-
Non-RobustnessとTexture-Biasの関係性 ・AT trained CNNは輪郭を見ている ・stylized imagenet trained だとimage corruptionに強い ・Jigsaw puzzle とgeneralization →いずれも、様々なタイプのロバスト性について包括的に議論していない。
-
人間の視覚のbiasについて ・shapeが最も重要であることが示されている。 ->shape bias (self-information: 自己情報量）に着目する。
ひとことで表すと
人間の視覚にはshape-biasがあることに着目し、モデルにShape-biasをかける手法を提案。これにより、画像のスタイル変換・ノイズ・AEに対するモデルのロバスト性の向上を目的とした。Robustnessの観点で、Shape-biasに着目した初の論文。 手法としては、新たなDropOutレイヤーを提案した。"InfoDrop"とよぶ。
論文リンク
https://arxiv.org/pdf/2008.04254.pdf
投稿日付
2020/8/10
概要
・self-informationを定義し、self-informativeな情報以外の部分を確率的にdropoutする。 ・以下の画像は、input画像に対して試したもの。実際にはレイヤーとして複数、モデルに組み込まれる。
・レイヤーの出力マップに対して、形に関する情報を集約したような"Information guided"なedgeマップを生成し、そのedge以外の部分を確率的にDropOutする。 ・self-informativeなマップは、カーネル密度推定を行うことで近似的に得ている。定義は論文参照。
結果
・ドメイン変換（art -> sketchなど）で、精度が向上。 ・few-shot classificationで、精度が向上。 ・Adversarial Robustnessに関しては、微増。ほとんど効果がない。
先行研究との差異
・全く新しい観点によるDropOutの手法。 ・ロバスト性向上のためにShape-biasに注目した初の論文。
手法のキモ
評価方法
議論
カーネル密度推定によるマップは、edge画像より形を表している。使えそう
関連論文