스터디:RNN: 개요 & 코드 리뷰

[eubinecto]

왜 RNN을 쓰는가?

RNN의 적용 예시

RNN: intuition

RNN의 최소단위: recurrent neuron

• DNN의 최소단위: perceptron
• RNN의 최소단위: recurrent neuron

왜 같은 weight through time?

• paramter sharing으로 볼 수 있다. (NLP in Action)
• CNN은 shared across space라면, RNN은 shared across time.

단기기억의 capacity를 늘리기 위해: recurrent layer

• DNN: perceptron layer
• RNN: recurrent layer

RNN의 사용방법

수학적으로 정의해보기

code로 재확인

[eubinecto]

recurrent layer

https://github.com/eubinecto/k4ji_ai/blob/e94a5d01fb0fb59a82e0a32e016356bbc9a75840/eb/src/chap_10/rnn_basic_model.py#L17-L18

[eubinecto]

왜 RNN을 쓰는가?

DNN으로는 fixed-sized vector만 입력과 출력으로 사용할 수 있으나, RNN으로는 sequences of vectors를 모델링할 수 있다.

• The unreasonable effectiveness of RNN
• Lecture 10:RNN

입력 벡터의 조합에서 패턴을 찾는 것이 아닌, 입력 벡터의 나열에서 패턴을 찾을 수 있도록 해준다.

[eubinecto]

과거에 존재하는 패턴으로 부터 미래를 예측한다.

RNN의 적용 예시

• 날코딩 책 챕터 10: 오토마타 참/거짓 분류기
  • 입력 벡터: 문자의 원-핫 벡터
  • 입력 벡터의 나열: 오토마타로 생성된 문장
  • 출력: 참/거짓
• 날코딩 책 챕터 11: 도시소음 분류기
  • 입력: 주파수 벡터
  • 입력 벡터의 나열: 시간에 따른 주파수 벡터의 나열
  • 출력: 소음이 해당하는 클래스
• music generation
  • 입력: 주파수 벡터
  • 입력 벡터의 나열: 시간에 따른 주파수 벡터의 나열
  • 출력: 또 다른 주파수 벡터의 나열
• image captioning
  • 입력벡터: 이미지 임베딩 벡터, 단어 임베딩 벡터
  • 입력 벡터의 나열: 이미지 임베딩 벡터 | 단어 임베딩 벡터
  • 출력: 또 다른 주파수 벡터의 나열
• character generation
• stock price prediction
• sentiment analysis of a sentence
• machine translation

[eubinecto]

RNN의 최소단위: recurrent neuron

• DNN의 최소단위: perceptron
• RNN의 최소단위: recurrent neuron

그림으로 이해하는 것이 가장 빠를듯. -Chapter 4. Recurrent Neural Networks

Perceptron	recurrent neuron
...

한가지 매우 중요한 차이점.

• DNN: feedforward. 일단 퍼셉트론을 통과한 데이터는 다시 돌아오지 않음.
• RNN: "recurrent". 한 time frame에서의 퍼셉트론의 출력이 다음 time frame에서의 똑같은 퍼셉트론의 입력으로 사용된다.

Recurrent neuron 의 경우 매우 중요한 점:

• 모든 time frame에 대하여 사용하는 가중치 행렬이 동일하다. 하나의 뉴런으로 모든 시간대의 패턴을 학습한다.

• hidden state: "short-term memory"

• activation f = logistic 인 경우, 각 time frame 마다 조건부 확률이 존재하는 것으로도 이해할 수 있음.

• p(pos|memory_t-1,in_t ), p(pos|p(pos|memory_t-1, in_t), in_t+1), and so on

[eubinecto]

단기기억의 용량을 늘리기 위해: recurrent layer

• DNN: perceptron layer
• RNN: recurrent layer

perceptron layer	recurrent layer
...