Neural Machine Translation by Jointly Learning to Align and Translate

what?

이분야가 아니라서, attention 부분만~(이해하기 어려움) > 중요 개념중의 하나라 알고는 있어야할듯~
여기서 구지 따지자면, CNN계열의 attention & RNN 계열의 Attention (이 둘의 혼종도 있음, 이전 발표 참고 - DAN) 있는데, 여기서는 "RNN 계열의 Attention" 임.
task : NMT - 번역
시작은 유명한 seq2seq의 단점을 해결하고자...

Seq2seq

RNN Encoder-decoder 의 모델은 입력 seq의 길이와 상관없이, 고정된 길이의 output를 냄.
- 이런한 결과는 입력길이가 길어질수록 성능의 악화.
  attention model : 아마 이해될때까지 다른그림들을 반복하여.
  
  1
- x1,~xt는 입력값(소스 문장)
- y는 디코더에 의해 생성된 번역된 결과 문장
- attention model의 기본 그림이다.
- 문제는 디코더의 마지막 값만 사용하는게 아니라, 인코더의 모든 상태 즉, 가중치 상태도 받아들어 결과를 낸다는것이다. (첫번째과 비교해보면 더 좋을듯~)
  2 (다시~)
  
  https://www.tensorflow.org/tutorials/seq2seq
  
  3 (다시~) : 제생각에 이부분이 가장 좋은듯
- seq2seq 논문의 문제점을 해결하겠다라는 출발선에서 시작
- 가변길이의 input -> 인코더에 의해 -> fixed size로 재표현되고 이를 다시 디코더 입력으로 ..번역.한다는 개념
- 인코더에 고정된 길이 압축(?)된 vector 디코더에 전달되었을때, 충분히 전달되지 않는것 같더라~라는 문제가 발생
- seq2seq
수식 1)- encoder, 수식 4)-decoder > 이 두개는 RNN -> GRU
- 수식2에서, 마지막 state에서 발생된 output이 C, fixed size > context vector라 부름.
- 수식 2에서는 y_t-1은 앞에서 만든 word, S_t hidden state, C를 받는다
- 미니넘 30개, 50개 sentence로 학습시킨 결과
- 보면, sentence가 클수록 성능이 급격히 떨어지는것을 볼수 있음.
- 하나의 예를 인데 영어>불어 번역인데, 앞의 sentence는 변역자체가 잘되나, 뒤문장은 잘 안되는 경우가 많이 발생되더라~란 의미. 본격적으로
- attention seq2seq
- 위의 문제점 때문에 "attention" 개념을 도입~
- 위에서 언급한 seq2seq의 마지막 C를 가지고 번역(decoder)하는것이 아니라, encoder의 모든 hidden state를 이용하여 번역에 적용하여, 지금 번역하려는 target 단어와 관련이 있을 것같은 정보(encoder의 모든 hidden state중에 어떤것??)어디 인지 source 정보에서 찾아보자란것이 핵심~ > attention or align
- 번역과 align 개념을 동시에 학습~
- 여기서 annotation > 엔코더의 hidden state
- encoder = 1000개 x 2 > bi-rnn
  - bi-directional rnn > 양방향에서 나온 정보를 각 state에서 cat한다.
- attention network = C_i
  - encoder의 output에 대한 weighted sum을 의미
- encoder : 1000개 state
- h_j 즉, 현재의 단어(x_j)에 관련된 단어는 주변 정보를 포함한다.
- 고정길이를 가진 C가 아니라, 가변 길이의 C를 만들어낸다, h_1,,,,h_L에 의해
- 수식 1에서, 또하나의 network
  - W_S_i-1은 decoder의 hidden state, V_h_j는 encoder의 hidden state,
  - V_h_j는 이미 계산된 값
- 정리하면,
- 실험결과 : 영어 > 프랑스 번역
  4 (다시~)
- 참고 nlp attention 이해하기 좋은 그림