[히스] Seq2seq with Attention 에서 Decoder 의 step 중 context vector 생성

[Heeseok-Jeong]

🙌 질문자

• 히스@Heeseok-Jeong

---

❓ 질문 내용

• Seq2seq with Attention 에서 Decoder 의 step 중 context vector 생성에 대해 질문있습니다. 디코더의 스텝에서 나온 히든 벡터와 인코더의 모든 히든 벡터가 내적되며 (dot-product attention 으로 가정) attention 벡터 (결합분포) 와 이를 가중 평균한 context 벡터가 나오는데, 매 스텝마다 attention 벡터와 context 벡터가 갱신되는건가요? 아니면 각 스텝마다 새로 계산해주는건가요?

---

[Heeseok-Jeong]

후자가 맞습니다. 코드를 통해 본 결과, 따로 웨이트가 존재하지 않고 디코더의 매 스텝마다 새로운 attention 벡터와 context 벡터를 생성하고 리턴합니다.