[DAY 19] Transformer

[changwoomon]

❓질문

샐리

• Scaled Dot-Product Attention에서 d_k가 아닌 sqrt(d_k)로 나눠주는 이유

  • 적절한 값으로 나눠주기 위함이라고 생각했습니다.
  

펭귄

    num_merges = max_vocab_size - len(idx2word) - 6 

• 과제 Byte Pair Encoding - build_bpe 함수에서 마지막에 왜 6을 빼줄까요?
  • Special token 5개와 WORD_END 총 6개를 빼주는 것 같습니다.

MJ

• Transformer에서 Batch normalization 대신 layer normalization을 사용하는 이유
  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/73
• position encoding
  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/74
• Multi-Head Attention에서 head마다 초기값을 다르게 주어 시작하는데, 학습이 반복될수록 그 값들이 똑같아질까요?
  • 각각의 head에 임베딩 단어를 쪼개서 전달해 주기 때문에 똑같아지진 않을 것 같습니다.

Further Questions

• BLEU score가 번역 문장 평가에 있어서 갖는 단점은 무엇이 있을까요?

  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/75

• Attention은 이름 그대로 어떤 단어의 정보를 얼마나 가져올 지 알려주는 직관적인 방법처럼 보입니다. Attention을 모델의 Output을 설명하는 데에 활용할 수 있을까요?

  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/76