[FEATURE] Prepare dataset and tokenizer

[inmoonlight]

🚀 Feature

Transformers 모델 학습을 위해 필요한 데이터셋과 이를 기반으로 학습된 tokenizer를 준비합니다.

Motivation

모델학습을 위해 필요한 재료입니다.

Pitch

• wmt14 en-de 을 다운로드 받는 스크립트
  • 공개된 데이터셋을 지정된 directory 에 다운로드 받습니다
• 위의 데이터셋으로 tokenizer 학습
  • 코드와 학습이 완료된 tokenizer를 준비합니다

Alternatives

Additional context

• 데이터셋은 용량이 크기 때문에 업로드하지 않습니다.