[PAPER] Attention is all you need

[inmoonlight]

📝 Introduction

현재 다양한 NLP 모델의 근간이 되고 있는 Transformers 입니다.

Why?

NLP에서 많이 다뤄지는 모델이기 때문입니다.

Issue card

0. Tokenizer 학습

NOTE: 이 repo에서는 해당 내용은 이미 되어있다고 가정합니다.

1. Data Loader

• [x] Tokenize string
• [x] String to Index
• [x] Padding
• [x] Batch Iterator

2. Model

1. Encoder
   1. Word Embedding
   2. Positional Encoding
   3. Multihead attention
2. Decoder
   1. Word Embedding
   2. Masked multihead attention
3. Inference
   1. Beam Search
4. Utils
   1. LayerNorm

3. Trainer

1. W&B
2. Config Manager

Schedule

1. 2. 3.

Reference

• https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf

[seopbo]

엇 저도 다음에 하려고했는데 ㅋㅋ 여기 좀 껴도되나요 ㅎㅎ

[inmoonlight]

@aisolab 영광이죠! +_+ 좋습니다