kakao / khaiii

Kakao Hangul Analyzer III
Apache License 2.0
1.41k stars 284 forks source link

KHAIII 품질 이슈 공유 #40

Closed woowahan-jaehoon closed 5 years ago

woowahan-jaehoon commented 5 years ago

KHAIII 관련 품질 이슈 글을 확인해서 공유차 Issue 등록을 합니다.

https://iostream.tistory.com/144

krikit commented 5 years ago

네, 감사합니다. 공유해주신 글은 저도 이미 봤습니다. khaiii는 사실 문법적으로 오류가 없는 세종 코퍼스를 통해 학습했고, 공백을 강하게 자질로 사용하고 있어서 띄어쓰기 오류에 취약합니다.

당시에도 좌/우 공백을 마치 dropout처럼 일정 확률로 랜덤하게 제거하고 학습을 시도해 봤습니다만, 결과가 좋지 않았습니다. 그와 관련하여 실패한 경험과 앞으로 또 어떤 실험을 해볼지 위키 글을 하나 적던 중인데.. 제가 요즘 밤에 "나의 아저씨"를 보느라.. --;

아직 학습 코드가 공개되지 않아 이부분도 얼른 정리하고 공개를 해야 여러 분들의 도움을 받을 수 있지 않을까 기대해 봅니다. 금방은 안될 수도 있지만, 좀 더디더라도 기다려 주시면 감사하겠습니다.

krikit commented 5 years ago
spc_dropout

위키 문서에서 링크하기 위해 그래프 이미지를 첨부합니다. ^^