konlpy pos 분석시 jupyter notebook kernel이 죽는 문제

[smbslt3]

실행 환경

• OS + bits + RAM, Python specific version, IDE or Editor, etc
• Windows10 + 64bit + 8GB / Python 3.6.5 / Jupyter Notebook / Java 9 (64bit)

문제 상황

무엇을 하려고 했는데 어떤 문제가 발생했는지 상세히 서술해주세요.

트위터 스트림으로 데이터를 모으고, 이를 konlpy Okt로 분석하려고 하면 쥬피터 노트북의 커널이 무조건 죽습니다 저 말고도 다른 학생에게도 동일한 문제가 발생하고, 메모리 부족으로 커널이 죽나 싶어 250 line 미만의 데이터로 돌려봤어도 똑같이 죽습니다. emoji 때문에 죽는다는 깃헙 보고가 있는데, 이모지를 tag해서 제외하는 함수를 써도 계속 죽네요. (이모지가 제대로 제거되지 않는 것 같기도 합니다)

에러 메시지

# paste your CMD/python error message here
jupyter notebook the kernel has died and the automatic restart has failed

스크린샷

에러메시지가 복사가 안되거나 화면으로만 설명할 수 있는 문제인 경우에는 스크린샷까지 첨부해주세요.

스크린샷 파일을 드래그&드롭 하면 첨부됩니다. 반드시 자세한 설명을 덧붙여주세요.

[eqo295]

해당 환경이 문제가 생길 정도가 아니기 때문에, 이모지 문제로 보입니다. 아마 제대로 한글을 필터링 하지 못한 것 같은데 정규표현식을 이용해서 한번 더 필터링 해보시길 바랍니다. (다양한 메뉴얼이 존재하기 때문에 "파이썬 정규표현식 한글" 키워드로 구글링 하시면 훌륭한 문서를 많이 확인할 수 있습니다)

만약 문제가 계속되면, 크롤링 샘플을 포함하여 메일 주세요.