Reflash Dropout in Image Super-Resolution

[zerebom]

https://deeplearning.jp/reflash-dropout-in-image-super-resolution/ https://arxiv.org/pdf/2112.12089.pdf

• CVPR2022の論文
• 元来、超画像(SR, Super Resolution)のタスクに置いてはDropoutは有用でないと考えられていた
  • Dropoutは高レベルのビジョンタスクで利用・発展してきたきたため
  • SRのような低レベルのビジョンタスク(単純な回帰問題)において、ネットワークのどこかが欠如することは精度劣化になるのではと考えられてきた
• しかし実験すると、最終層のあとにDropoutを追加すると精度向上が確認できた
  • 
  • 特に未知の低画像化の手法に対して良く汎化することができている
  • ※前提: SRは複数の手法(noise, bi-cubic, jpeg, etc.)で低画像化することで過学習を防ぐことが多かった
• 結果分析
  • Dropoutを追加するとco-adaption(ニューロン同士が依存関係を持つこと)が回避される
  • 特定のFeature Mapだけ発火するようなことがなくなった
  • 低画像化の手法ごとに抽出される特徴が偏ることがなくなった(= 汎化性能が向上した)
    • 

参考: https://deeplearning.jp/reflash-dropout-in-image-super-resolution/