ko-nlp / Korpora

Korean corpus repository

Creative Commons Attribution 4.0 International

693 stars 80 forks source link

Dev#186 #198

Closed lovit closed 3 years ago

lovit commented 3 years ago

Pull Request

Korpora에 기여해 주셔서 감사합니다.

해당 Pull Request를 제출하기 전에 아래 사항이 완료되었는지 확인 부탁드립니다:

[x] 작성한 코드가 어떤 에러나 경고 없이 실행이 되나요?
[ ] 작성한 코드에 대한 테스트 코드를 만드셨나요? (경로 : Korpora/test)
- large file 이라 manual test 를 수행하였습니다.
[x] 기존 코드 역시 에러 없이 수행이 되겠죠?
- load_wikitext 가 수정됨에 따라 kowikitext, namuwikitext 가 영향을 받습니다. 두 말뭉치의 데이터가 정상로딩됨을 확인하였습니다.

1. 해당 PR은 어떤 내용인가요?

kowikitext 의 데이터 버전을 v2 에서 v3 로 수정합니다.
wikitext 파일의 title 에 해당하는 line 첫 칸이 빈 칸이어도, '=' 이어도 모두 title 로 인식합니다.
Korpora=0.3.0 개발을 위해 버전을 0.3.0dev 로 수정합니다.

2. PR과 관련된 이슈가 있나요?

186 #187

lovit commented 3 years ago

@ratsgo Korpora=0.3.0 에 해당하는 내용은 테스트코드를 통한 테스트 외에는 QA 때 모두 모아서 전체 리뷰를 하는 것으로 논의했기에, PR 리뷰를 생략합니다.