[week2] 모델의 강인함이 무슨 말인지 궁금합니다. 그리고 만약 논문의 모델 입력에 noise가 들어가면 어떻게 처리할까요?, 논문에서 나온 모델은 강인한 모델일까요?

[kiwon94]

논문의 Intro 부분을 보게 되면, 기존의 NLP 모델이 One-hot encoding을 했던 이유 중에 모델의 강인함(robustness)에 대해 언급하고 있습니다. 모델의 강인함은 Input의 noise에 대한 강인함일까요? 잠깐 생각해보면 One-hot encoding이 Distributed에 비해 강인함을 가지고 있다 생각 됩니다. 하나의 값만 1이기 때문에 noise가 발생해도 복구가 쉽다고 생각합니다. 그런데 만약 논문에서 나온 CBOW, Skip-gram과같은 모델에서 input에 noise가 들어가 변형된 projection이 나온다면 어떻게 원래의 input으로 복구를 해줄까요?

[kiwon94]

조금 생각해봤는데 이건 전처리와 관련된 문제 같네여 ㅜ

[kimcando]

흠.. 저 부분 저는 그냥 지나쳤는데요. 기원님 말씀이 맞는 흐름인 것 같아요. 보통 모델이 robust 하다고 하면 noise에 강하다, 즉 인풋에 노이즈가 끼더라도 원래 예측해야하는 결과값을 잘 반환해준다는 의미로 이해하고 있어요. 그런 측면에서 인코딩값을 디코딩해줄 때 정확히 1-1 mapping이 될 수 있는반면.. 축소된 차원으로(continuous space) 보내고 디코딩하면 정확하게 일치하기 어려울 수 있어서 robust라고 표현한 것 같아요.

여담으로 최근 몇년간에는 adversarial attack(의도적으로 모델을 속일 수 있는 인풋을 만들어 틀린 예측을 만들어내도록 하는 것)과 관련해서 model robustness 말이 많이 나오는 것 같아요

[kimcando]

+기원님의견. 정상적이지 않은, 오류 있는 단어에 대해서도 잘 예측할 수 있다는건가?

[greenare]

https://www.youtube.com/watch?v=EF-IYFTKZiE&list=PLRx0vPvlEmdADpce8aoBhNnDaaHQN1Typ&index=7 찾아보니까 BERT 및 다른 언어 모델에 대한 공격에 대한 논문 리뷰 한국어 영상이 있어 공유합니다.