한글 자연어 텍스트 분석을 위한 환경 구성, 참고 자료

[GzuPark]

Env

TODO 80%

• [x] docker 환경으로 setup
  • ubuntu 16.04
  • python3, python-pip, python3-dev, g++, openjdk-7-jdk, curl, python3-tk
  • git, vim
• [x] python library
  • konlpy, nltk, jupyter notebook, tensorflow, numpy, pandas, scikit-learn, beautifulsoup4, gensim, seaborn
• [x] etc
  • mecab, soynlp

openjdk-7-jdk 설치시 E: Package 'openjdk-7-jdk' has no installation candidate 오류 대처법

apt-get install -f
add-apt-repository ppa:openjdk-r/ppa  
apt-get update
apt-get install openjdk-7-jdk

konlpy 설치시 생기는 오류

1. python3-tk
2. Jpype1 package

[GzuPark]

Reference

Videos

• 김현중, 노가다 없는 텍스트 분석을 위한 한국어 NLP (aka. soynlp), PyCon KR 2017 [link] [slide]
• 김현중, 미등록단어 문제 해결을 위한 비지도학습 기반 한국어자연어처리 방법론 및 응용, naver d2 [link] [slide]
• T아카데미, 토크ON세미나 3차 자연어처리, SKtechx [link]
• T아카데미, 토크ON세미나 딥러닝을 활용한 자연어처리 기술 실습, SKtechx [link]
• [NLP] IMDB 영화리뷰 감정 분석, 오늘코드 [link] [tutorial]
• Applied Text Mining in Python, Semantic Text Similarity, Coursera [link]

Documents

• konlpy [link] GitHub
• soynlp [link] GitHub
• customized_konlpy [link] GitHub
• Find semantic similarity between two short sentences [link] stackoverflow
• NLP/Machine Learning text comparison [link] stackoverflow
• Cosine similarity for vector space models (Part 3) [link] blog
• Deep Learning for Semantic Similarity [link] pdf
• Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks [link] pdf
• Text Similarity Measurement using Convolutional Neural Networks [link] GitHub
• MPCNN sentence similarity tensorflow [link] GitHub
• Siamese Recurrent Architectures for Learning Sentence Similarity [download] pdf
• deep siamese text similarity [link] GitHub
• 딥러닝 기반 자연어처리 기법의 최근 연구 동향 [link] blog
• NLP, ratsgo's blog [link] blog 💯👍🌟

[GzuPark]

docker youtube

1. sktechx docker [link], [준비 문서]

[ChoiKW]

docker for windows 10 home [가이드]

[GzuPark]

오늘코드 튜토리얼 docker image

1. 로컬컴퓨터 내에 docker image와 공유할 디렉토리 생성 (예: /Users/jijupax/data, <공유경로> 로 표시)
2. <공유경로> 안에서 git clone https://github.com/corazzon/KaggleStruggle.git 실행
3. docker pull hermits/korean-nlp:1.0
4. docker run -p 8888:8888 -p 6006:6006 -v <공유경로>:/notebooks -it hermits/korean-nlp:1.0 bash
5. docker 실행 후, ls 명령어를 통해 KaggleStruggle 폴더가 보이면 성공
6. jupyter notebook --allow-root --NotebookApp.token='', Ipython notebook 실행시키는 명령어
7. 인터넷 브라우저에서 localhost:8888 입력하고, KaggleStruggle 폴더가 보이면 성공

재실행

1. docker ps -a 를 실행해서 컨테이너 id 를 기억, id는 고유한 4~5자리 정도까지만 기억하고 입력하면됨
2. docker restart <컨테이너ID> 입력 2-1. 만약 오류가 생긴다면, docker gui에서 settings > reset > restart docker 실행 [참고]
3. docker attach <컨테이너ID>