단어 토큰화 어퍼스트로피 문제

[jaehoonnie]

텍스트 파일의 단어들을 토큰화할때, word_tokenize를 사용하면 's 같은 단어들도 같이 분리됨.

[jaehoonnie]

from tensorflow.keras.preprocessing.text import text_to_word_sequence 텐서플로우를 활용하여 어퍼스트로피 단어 분리문제 해결