Improved Regularization of Convolutional Neural Networks with Cutout

[sheepover96]

• 論文タイトル Improved Regularization of Convolutional Neural Networks with Cutout
• 著者・所属 Terrance DeVries(University of Guelph) and Graham W. Taylor(University of Guelph, Canadian Institute for Advanced Research and Vector Institute)
• リンク https://arxiv.org/abs/1708.04552

• 論文まとめ

  • どんなもの CNNにおけるAugumentationとして画像から一部分を切り取ったものを訓練データとして加えたら精度が向上したというもの．単純なデータの水増しでモデルの性能を向上できた．

  • 先行研究と比べてどこがすごい？ Cifarデータに対するSOTAであるshake-shake-image(ResNet for cirfar)などを超える精度を得ることができた．Conv層にて高い値をだすユニットを選択的にdropするmax-dropという手法が似ているらしい

  • 技術屋手法のキモはどこ？ 固定されたサイズの四角形領域を画像からドロップさせてデータにに追加する．CNNが注目している箇所をドロップさせるということも行なったが，性能に差はあまりなかったので，シンプルな前者を採用した．

  • どう有効だと検証したか Cifar10, cifar100, SVHNを利用．ネットワークには18層のResNet，shake-shake-imageを採用．結果，cutoutを行うことでそれらのerror rateをcifer10で0.3%, cifer100で0.6%改善することができた．

  • 議論 ドロップさせる領域のサイズは調整が必要である．今回はグリッドサーチで行なっていた．

  • 次に読むべき論文

    • Analysis on the dropout effect in con- volutional neural networks