[11주차] 소설 작가 분류 AI 경진대회 (NLP) - Githubissues

Sejong-Kaggle-Challengers / jeongmin

📌 Sejong Kaggle Challenger 이정민 레퍼지토리

0 stars 0 forks source link

[11주차] 소설 작가 분류 AI 경진대회 (NLP) #11

Open mingxoxo opened 3 years ago

mingxoxo commented 3 years ago

https://dacon.io/competitions/official/235670/overview/

mingxoxo commented 3 years ago

출처 : https://dacon.io/competitions/official/235670/codeshare/1801?page=1&dtype=recent&ptype=pub

자연어 처리(Natural Language Processing)란 ? 자연어(Natural Language) : 우리가 일생 생활에서 사용하는 언어 자연어 처리 : 자연어의 의미를 분석하여 컴퓨터로 다양한 문제를 해결하는 것
해결할 수 있는 문제들 : 텍스트 분류, 감성 분석, 내용 요약, 기계 번역, 챗봇 등등
자연어 처리 과정 preprocessing -> vectorization -> embedding -> modeling

Preprocessing : 불용어 제거(Stopwords removing), 형태소 분석(Stemming), 표제어 추출(Lemmatization) 불용어(Stopword) : 자주 등장하지만 분석을 하는 것에 있어서는 큰 도움이 되지 않는 단어들
Vectorization : One-hot Encoding, Count vectorization, Tfidf, Padding
Embedding : Word2vec, Doc2vec, Glove, Fasttext Embedding : 단어를 밀집벡터(dense vector)로 표현하는 방법
Modeling : GRU, LSTM, Attention