Encoder and Decoder Stacks - Githubissues

eubinecto / k4ji_ai

4명의 김씨, 한명의 진씨, 한명의 임씨가 모여서 인공지능을 공부하고 있습니다.

13 stars 0 forks source link

Encoder and Decoder Stacks #23

Open eubinecto opened 4 years ago

teang1995 commented 4 years ago

Encoder

Encoder은 6개의 동일한 layer가 쌓여 구성됨.
각 layer에는 두 개의 sub-layer가 있음.
하나는 multi head self attention mechanism, 두 번째는 position wise fully connected feed forward network.
residual sum 이후 normalization 진행.
이 연산이 가능하게 하기 위해서, output의 차원은 512가 돼야 함.

Decoder

Decoder은 6개의 동일한 layer가 쌓여 구성됨.
Encoder의 두 개의 sub-layer에 추가로 Encoder의 output에 대해 multi head attention 을 수행하는 세 번째 sub-layer가 추가됨.
Encoder와 마찬가지로 residual block 사용.
이후 차례의 position에 주의를 기울이는 것을 방지하기 위해 masking을 사용하여 self attention layer를 수정함.