EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks - Githubissues

DeepResearchTeam / Deep_Research

To summarize the information of machine learning

3 stars 0 forks source link

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks #13

Open KenichiSasaki opened 4 years ago

KenichiSasaki commented 4 years ago

概要

アルゴリズム論文(2019)
今までのモデルは深さ，幅，解像度に比例して精度が向上してきたが，途中で学習が収束してしまう問題があった．
そのため，深さ，幅，解像度を適切な値にすれば計算量を抑えながら精度向上できるのではという発想
Resnet等に比べて10分の1程度のパラメータでImageNetの最高精度達成

アルゴリズム

モデルのスケーリング(深さ，幅，解像度)とその精度を定量的に評価，
均一のスケーリングで深さ，幅，解像度を調整したモデルを生成し，それらを合成
- スケーリングの係数はグリッドサーチの一種で探索
- 同著者のMnasNetで提案している探索手法を用いている
スケーリングの大きさによって複数のモデルを生成し，それらの精度を検証

実装

ImageNetで精度検証
Compound Scalingモデルがそれまでの最新モデル(GPipe，ResNet)と同程度の精度を6倍の速度で達成
転移学習での有効性もCifer10等の8つのデータセットで検証
- ファインチューニングを行って5つのデータセットで精度改善
  所感
モデルそのものを新しくするのではなく，今までのネットワークの層の深さ，幅，画像の解像度ごとにモデルをそれぞれ最適化した結果，かなり精度が上がっている
全探索をうまいことやったらかなりネットワークの縮小化が期待できそう
実装例やパラメータ最適化にグリッドサーチを用いるなど，相当な計算リソースを割いており，そのチューニング方法そのものはいたってシンプル
ImageNetやCifer10など写っているものが似ているものを扱っており，よりVarianceの高いモデルになっている可能性あり
- 衛星画像等の異なるデータで転移学習させた場合うまくできない？