Jaesu26 / textmentations

A Python library for augmenting Korean text.
MIT License
2 stars 0 forks source link

형태소 분석 로직 수정 #36

Open Jaesu26 opened 3 weeks ago

Jaesu26 commented 3 weeks ago

성능 향상을 위해 insert_synonyms, replace_synonyms 함수에 형태소 분석 기능을 추가했음 형태소 분석을 어절 단위로 수행하는데 이렇게 하지 말고 문장 단위로 형태소 분석을 수행하도록 변경하자

장점:

  1. kiwi.tokenize 메서드 호출 횟수 감소에 따른 처리 속도 향상
  2. tokenize를 문장 단위로 해야 모호성 감소 (e.g., 건 -> 상황에 따라 명사일 수도 있고 아닐 수도 있지만 단일 문자만 주어지면 모름)
Jaesu26 commented 3 weeks ago

replace_synonyms 함수는 최적화 완료