tidytext 패키지와 사용할 경우 토크나이저에서 에러발생 사례

[choonghyunryu]

현상

tidytext 패키지와 사용할 경우에는 토크나이저의 경우에는 무조건 1개 이상의 토큰을 반환해야 함 그렇지 않으면 다음과 같은 에러가 발생함

Error in `tidytext::unnest_tokens()`:
! Expected output of tokenizing function to be a list of length 150000

만약에 토큰화에서 토큰이 없을 경우에는 ""라도 반환해야 함

관련 함수

• unnest_noun_ngrams
• tokenize_noun_ngrams