search

boost-devs / peer-session

🚀 부스트캠프 AI Tech 1기 U-Stage 4조 피어 세션 자료/질문 모음 (archived)
8 stars 2 forks source link

[후미] (트랜스포머) 멀티헤드에서 사용되는 Wo, 디코더에 들어가는 인풋 #59

Closed opijae closed 3 years ago

opijae commented 3 years ago

🙌 질문자

❓ 질문 내용

opijae commented 3 years ago
  1. 멀티헤드에서 사용되는 Wo도 학습되나요? -> 넵 됩니다. image

  2. 디코더에서 훈련 할때 들어가는 인풋은 어떤건가요? -> 타겟 문장 전체를 디코더 입력으로 넣는다. -> attention 할때는 뒤의 단어들은 마스크해 못 보게 함 ex) I am a student에서 'am'이 input일때는 'a', 'student'는 마스크 씌움 image 출처 : ## 2) 디코더와 인코더 사이에 어떤 정보를 주고 받는지

    -> '테스트' 시에는 타켓 문장이 없으니 디코더에 sos 를 디코더의 첫 입력으로 넣어서 결과로 나오는 단어를 다음 입력으로 넣는다.