issues
search
bab2min
/
Kiwi
Kiwi(지능형 한국어 형태소 분석기)
https://lab.bab2min.pe.kr/kiwi
Other
396
stars
46
forks
source link
Dev 0.15.0
#127
Closed
bab2min
closed
1 year ago
bab2min
commented
1 year ago
기능 추가/개선
둘 이상의 형태소로 더 잘게 분리될 수 있는 형태소를 추가 분리하는 옵션인
splitComplex
도입
부사파생접사를 위한
XSM
태그 추가 및 이에 해당하는 형태소
-이
,
-히
,
-로
,
-스레
추가
조사/어미에 덧붙는 받침을 위한
Z_CODA
태그 추가 및 조사/어미에서 자동으로 Z_CODA를 분절해내는 기능 추가
형태 분석 및 언어 모델 탐색 속도 최적화
옛한글 문자를 특수 기호로 분리하지 않고 일반 한글과 동일하게 처리하도록 개선
형태소 분석 기반의 Subword Tokenizer 구현 (현재 실험적으로 지원 중)
버그 수정
한 문장 내에서 사전에 미등재된 형태가 256개 이상 등장할 때 형태소 분석 결과가 잘못 나오는 문제 해결
bab2min/kiwipiepy#111
이모지 등 U+10000 이상의 유니코드 문자를 모두 한자로 분류하던 버그 수정
기능 추가/개선
splitComplex
도입XSM
태그 추가 및 이에 해당하는 형태소-이
,-히
,-로
,-스레
추가Z_CODA
태그 추가 및 조사/어미에서 자동으로 Z_CODA를 분절해내는 기능 추가버그 수정