ko-nlp / Korpora

Korean corpus repository

Creative Commons Attribution 4.0 International

693 stars 80 forks source link

KcBERT 학습데이터 지원 #72

Closed lovit closed 4 years ago

lovit commented 4 years ago

Pull Request

Korpora에 기여해 주셔서 감사합니다.

해당 Pull Request를 제출하기 전에 아래 사항이 완료되었는지 확인 부탁드립니다:

[x] 작성한 코드가 어떤 에러나 경고 없이 실행이 되나요?
[ ] 작성한 코드에 대한 테스트 코드를 만드셨나요? (경로 : Korpora/test)
- 73 이슈를 해결해야 합니다.
[x] 기존 코드 역시 에러 없이 수행이 되겠죠?

1. 해당 PR은 어떤 내용인가요?

KcBERT 코퍼스를 제공합니다.
fetch 기능이 지원됩니다.
하지만 Korpora.fetch('kcbert') 는 #67 이 완료된 뒤에 추가 구현해야 합니다.
파일의 크기가 크기 때문에 text loading 을 하기 전에 사용자에게 확인을 받는 기능 (#63) 을 여기서 먼저 구현하였습니다.
- 동일한 기능은 namuwikitext 에서도 구현할 예정입니다.

2. PR과 관련된 이슈가 있나요?

1, #53, #63, #67

ratsgo commented 4 years ago

loader.py FETCH에 kcbert를 반영한 커밋을 추가해 PR합니다.

lovit commented 4 years ago

loader.py FETCH에 kcbert를 반영한 커밋을 추가해 PR합니다.

위 커밋 확인했습니다. 1