ko-nlp / Korpora

Korean corpus repository

Creative Commons Attribution 4.0 International

693 stars 80 forks source link

Add AIHub and Modu Corpus (Especially local installed corpus) into lmdata task #194

Closed hwiorn closed 3 years ago

hwiorn commented 3 years ago

Pull Request

Korpora에 기여해 주셔서 감사합니다.

해당 Pull Request를 제출하기 전에 아래 사항이 완료되었는지 확인 부탁드립니다:

[X] 작성한 코드가 어떤 에러나 경고 없이 실행이 되나요?
[X] 작성한 코드에 대한 테스트 코드를 만드셨나요? (경로 : Korpora/test)
[X] 기존 코드 역시 에러 없이 수행이 되겠죠?

1. 해당 PR은 어떤 내용인가요?

lmdata task에 AIHub 번역 데이터셋과 모두의 말뭉치 데이터셋의 학습 코퍼스 생성 기능 반영.
Local에 데이터셋 유무를 검사하는 코드를 Korpora.exists(..)로 추가.
테스트 코드 반영 및 exists 테스트 코드(manual.py) 반영
```
python manual.py exists --root-dir path/to/Korpora
```
2. PR과 관련된 이슈가 있나요?

191

hwiorn commented 3 years ago

Korpora.exists 를 추가하면서, find_corpus_paths에 연관되어 중복되는 코드를 수정할 수 밖에 없었습니다. 최대한 기존 코드의 수정 부분을 줄이려고 했는데, 이 부분은 원저자의 의도와 다를 수 있으니, 검토가 필요할 듯 보입니다.

lovit commented 3 years ago

@hwiorn 보내주신 PR 내용, dev branch 에 rebase 완료하였습니다.