hnc-kypark
commented
3 years ago 글 잘 읽었습니다. 한국어는 띄어쓰기가 다양해서 토큰 나누기도 어렵고, 어순이 중요하지 않아서 언어 모델에 있어 단어 시퀀스 확률 할당하기가 영어에 비해 참 어려운거 같아요. 그래도 앞으로 국립국어원에서 한국어 말뭉치 자료를 더 만든다고 하니, 나중에는 팔도 사투리도 다 처리되는 날이 오기를 기대해 봅니다.
쉽게 풀어쓴 자연어처리 NLP(Natural Language Processing) - 한컴 Tech 블로그
https://hancom-io.github.io/silver-broccoli-urban-fiesta/2021/07/19/nlp-description.html