[ML] 문장단위 TextSplitter 제작

[noooey]

개요

• resolves #475 문서 split 때 문장이 잘리지 않도록 문장단위 TextSplitter를 제작
• 요약, 문제 생성 시 주어지는 context의 문장이 잘리지 않도록 함

작업사항

• TextSplitter 제작
  1. 전체 text의 언어를 감지합니다.
  2. 언어에 따라 sentence tokenizer
  3. 전체 text를 문장 단위로 분리합니다.
  4. 정해진 chunk size이내로 문장들을 묶어줍니다.
  5. chunk 간 문장 중복을 허용할 수 있습니다. (overlap)

기타