awesome-davian / awesome-reviews-kaist

Computer vision paper reviews written by KAIST AI students
Creative Commons Attribution Share Alike 4.0 International
43 stars 117 forks source link

[2022 spring] ICLR 2020 Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks (20223078) #313

Open minboom99 opened 2 years ago

4charwon commented 2 years ago

Problem definition에서는 Adversarial attack에 대한 설명이 산업 전반으로부터 시작해서 학계의 흐름까지 잘 설명이 되어 있습니다. Adversarial attack을 처음 접하는 입장에서도 잘 이해할 수 있었습니다.

Motivation 부분에서는 기존 adversarial attack 기법들에 대해서 잘 설명해주셨습니다. 상응하는 optimization 기법들과 비교 덕에 이해하기 쉬웠습니다.

처음에 읽을 때에는

‘여기에서 아이디어를 얻어 AA method들은 true label에 대한 loss 를 키우는 방식으로 adversarial example을 학습시킵니다.’

이 부분에서 학습이라는 단어가 다소 헷갈렸습니다.

다음 문단은 Idea 부분에 있는 내용입니다.

‘위에서 설명한 iterative gradient based AA method들을 보면 neural network를 학습시키는 과정과 매우 닮았다는 것을 알 수 있습니다. 이러한 관점에서 보면 adversarial example을 model의 파라미터와 대응시켜 생각할 수 있습니다. 따라서 adversarial example의 모델 전이성을 높이는 것은 머신러닝 모델의 generalization ability를 높이는 것과 비슷한 관점에서 바라볼 수 있습니다.’

이 부분을 읽어보면 학습이라는 단어 역시 비유를 통해 나타내신 것으로 보이는데 이 부분을 좀 더 앞에서 부터 제시해주시면 이해가 더 쉬울 것 같습니다.

Method 부분 역시 두 method를 잘 설명해주셨고, 디테일한 증명 부분을 굳이 언급하시지 않고 원본 논문을 참고하라고 하신 부분이 적절한 선택이었던 것 같습니다.

Result 부분에서 수치들을 바탕으로 논문에서 주장하는 중요 내용들을 bold 처리 해두신 부분이 리뷰를 쉽게 읽는데 많은 도움이 되었습니다.

저도 리뷰를 읽으며 소위 좋다는 기법을 다 가져다 쓴 논문이 아닌가라는 생각을 했는데 그에 대한 확신은 없었습니다. Computational cost 등 디테일한 부분에 대해서 까지 짚으며 비판적인 아이디어를 제시해주셔서 생각을 정리하는데에 많은 도움이 되었습니다.

Joen0818 commented 2 years ago

Problem definition

  1. 적대적 공격에 대한 정의와 평가척도에 대한 성명이 명확하게 잘 설명 되어 있어 이해하는게 수월했습니다.
  2. Fooling rate (FR)을 수식으로 표현해 보여 주었다면 조금 더 직관적으로 이해할 수 있어 보입니다.

Motivation

  1. 기존 기법들에 대해서 간략하게 잘 살명해 주셨습니다.
  2. 머신러닝 모델과 비슷한 관점에서 바라본다는 점이 흥미로웠습니다.

Method

  1. 상기 해주신 두 가지 방법에 대해서 간단명료하게 잘 설명해 주셨습니다.
  2. 알고리즘 코드 부분의 이미지를 올려주시고 또 자세히 설명해주셔서 이해하는데 도움이 되었습니다.

Experiment & Result

  1. 결과에 대한 해석을 아주 잘 해주셨습니다.
  2. 다만, 모델 전이성이 높아졌다는 것은 알수 있으나, 어떤 매커니즘으로 모델전이성이 높아졌는지에 대한 궁금증이 생깁니다. 본 논문에 해당 부분이 설명이 되어있는지는 잘 모르겠으나, 관련해서 간단하게 설명이 있다면 더 좋았을 것 같습니다.