search

YoheiIwasaki / paper-survey

1 stars 0 forks source link

Towards Robust Neural Networks via Random Self-ensemble #10

Open kwgit-public opened 3 years ago

kwgit-public commented 3 years ago

  1. 論文情報

  2. どんなもの？

    • モデル作成者の認識していないような敵対的な攻撃（学習やテストデータに存在しないような入力データ？）に対して、優れたモデルでも簡単に誤って推論してしまう可能性がある
    • この課題は、特にセキュリティシステムなど高い信頼性を要求されるようなシステムにおいて致命的となる、自動運転技術や医用画像認識分野など
    • ランダムノイズとアンサンブルの効果を利用して、敵対的な攻撃に対して頑健なモデルを提案

  3. 先行研究と比べてどこがすごい？

    • emsemble技術はモデルの推論精度を向上させる有効な手段だが、複数のモデルを学習する必要があること、メモリ使用量が増大することなどのデメリットがある
    • 本論文のモデルはnoise layerによって擬似的に複数の異なるモデルを学習している効果を持っていて、これらデメリットを解決している

  4. 技術や手法のキモは？

    • Random Self-Ensemble(RSE)アルゴリズム、noise layerを各Conv層の前に追加し、特徴量ベクトルにノイズを付与する
    • ランダムノイズを考慮した学習を行い、推論時にはランダムノイズを適用した複数モデルの推論結果をensembleする Screenshot from 2021-08-15 15-07-43

  5. どうやって有効と検証した？

    • 学習時にも推論時にもnoise layerを適用することが重要 Screenshot from 2021-08-15 15-18-34
    • ensembleの効果 Screenshot from 2021-08-15 15-31-45
  1. 議論はある？
    • ensembleのメモリ使用量の増加は解決しているが、処理速度には課題があると思う
  2. 次に読むべき論文は？
    • 複数回の推論をすることなくensembleの効果が得られるような手法を提案している論文読みたい
  3. その他