[메신저 말뭉치] 2인 대화 / 다인 대화 구분 - Githubissues

ko-nlp / moducorpus-sanitizer

모두의 말뭉치 데이터를 분석에 편리한 형태로 변환하는 기능을 제공합니다.

MIT License

11 stars 0 forks source link

[메신저 말뭉치] 2인 대화 / 다인 대화 구분 #15

Open lovit opened 4 years ago

lovit commented 4 years ago

2인 대화는 (source, target) 의 형태로 데이터를 제공할 수 있으나, 다인 대화는 어렵기 때문에 두 종류의 파일을 구분하여 정리
1인이 연속하여 대화를 입력한 경우 이를 하나로 concatenate 하여 제공
- concat 시 마지막 시간으로 time 입력
- form, original_form 모두 \t로 병합 위치 구분 (원 텍스트에 두 칸 띄어쓰기가 포함되어 있기 때문)