[메신저 말뭉치] 대화의 경계 empty line 으로 표시

ko-nlp / moducorpus-sanitizer

모두의 말뭉치 데이터를 분석에 편리한 형태로 변환하는 기능을 제공합니다.

MIT License

11 stars 0 forks source link

Open lovit opened 4 years ago

lovit commented 4 years ago

document_id 로 대화의 시작과 끝을 구분할 수 있지만, 텍스트 파일만 form 파일만으로 대화를 구분하기 위해서 empty line 이 들어가면 쉽게 구분이 되며, 이를 option 으로 제공