search

ko-nlp / Korpora

Korean corpus repository
Creative Commons Attribution 4.0 International
699 stars 80 forks source link

[CLI] 번역 모델 학습용 병합 말뭉치 생성 기능 제공 #135

Open lovit opened 4 years ago

lovit commented 4 years ago

(usage scenario)

korpora parallel \
  --corpus_names aihub open_subtitles_2018 \
  --output_dir path/to/train/ \
  --target_lang en \
  --save_each
korpora parallel \
  --corpus_names aihub_spoken aihub_conversation \
  --output_dir path/to/train/ \
  --target_lang en \
  --save_each
lovit commented 4 years ago

(usage scenario)

korpora parallel \
  --corpus_names jejueo \
  --output_dir path/to/train/ \
  --target_lang ko-jeju

# or
korpora parallel \
  --corpus_names jejueo \
  --output_dir path/to/train/ \
lovit commented 4 years ago

corpus_names 와 target_lang 이 적절한지 확인하는 함수 필요

lovit commented 3 years ago

187 에서 이 기능지원을 마무리합니다.