Attention Is All You Need

[Si-jeong]

• sequence transduction modeling의 이전의 SOTA

  • Recurrent models 기반 (RNN, LSTN, GRU)
  • factorization tricks, conditional computation ➡️ computation efficiency, model performance ⬆️
  • 문제점: Recurrent models의 고유의 순차적인 성질이 parallelization을 방해함 (메모리 한계 때문에, sequence 길이가 길어질수록 문제 심화)

• Attention

  • 입력과 출력 시퀀스 거리와 관계없이 종속성을 모델하는 특성 (sequence transduction modeling에 중요)
  • 한계: 아직까지도 대부분 recurrent network와 함께 사용됨

• 제안하는 모델: Transformer

  • 오직 attention mechanisms을 기반으로 한 간단한 network architecture
  • new SOTA in translation quality
  • 장점
    • superior in quality
    • more parallelizable
    • requiring significantly less time to train
  • Model Architecture: encoder-decoder structure

[minha62]

transformer 논문이었군요! 잘 읽었습니다:)

[SEOJIN-Lab]

잘 읽었습니다:>

[m0oon0]

잘 읽었습니다👍