앞/뒤에 등장하는 단어를 이용한 미등록단어의 품사 추정

lovit / crf_postagger

Korean Part-of-Speech Tagger using Conditional Random Field (CRF)

12 stars 4 forks source link

Open lovit opened 5 years ago

lovit commented 5 years ago

기대하는 결과:

너는abc를했다 -> [ ('너', 'Noun'), ('는', 'Josa'), ('abc', 'Noun'), ('를', 'Josa'), ('하 + 았다', 'Adverb + Eomi') ]

lovit commented 5 years ago

tagger.tag 에 guess_tag=False 를 추가
- guess_tag = True 이면 unknown subword 에 대하여 (Noun, Adverb, Verb, Adjective, Exclamation) 중에 품사를 추정할 수 있도록 함

lovit commented 5 years ago

Transition state 의 coefficient 만을 이용하여 품사를 추정하는데, 왠만한 품사보다 Noun 이 될 coefficient 가 커서 주로 명사가 선택됨
미등록 단어는 x0 의 값이 parameter 에 없으므로, 1y, 1x_1y 나 1y1 과 같은 feature 가 필요 (unknown 일 때만 이용할 수도 있음)