Korpus class 내에 데이터 다운로드 정보 두기 - Githubissues

ko-nlp / Korpora

Korean corpus repository

Creative Commons Attribution 4.0 International

694 stars 80 forks source link

Korpus class 내에 데이터 다운로드 정보 두기 #39

Closed ratsgo closed 4 years ago

ratsgo commented 4 years ago

개요

현재 데이터 다운로드 정보는 fetch.py의 DATA_LOCATIONS 변수에 담겨 있음
이 정보를 Korpus 클래스를 상속받는 클래스에 두는 것으로 변경
데이터마다 다운로드 정보는 유니크하기 때문에 Korpus 클래스에 두고 관리해도 큰 문제가 없음
이렇게 했을 경우 데이터 추가 외부 PR시 Korpus 클래스를 상속받아 구현(이때 데이터 다운로드 위치, 전처리/cleansing 등만 정의)하면 된다는 장점이 있음