Word2Vec
-- 명사와 형용사들을 추적하여 백터로 글자간의 상관관계를 파악하여 글자를 예측하는 모델.
`def preprocessingText(text)
//전처리할 영화 줄거리 결과를 저장 하는 리스트
stems = []
// text 나누고 품사를 붙여서 리턴
//stem=True : 단어의 기본형으로 변환
tagged_review = twitter.pos(text, stem=True)
for word,pos in tagged_review:
// len(word) : 단어의 글자수가 2글자 이상이면
// 품사가 Noun(명사) || Adjective(형용사) 일경우에 word를 추가
if pos == "Noun" || pos == "Adjective":
stem.append(word)
return " ".join(stems)
`
함수를 만들어서 글자를 나누고 사용
동사를 넣게 되면 글자의 의미가 다양하게 변화 할 수 있으므로 좀 더 정확한 주제를 구하기 위해 동사는 제외하고 구함
따라서 글자들을 인코딩을 하여 백터값들을 구하여 글자간의 거리를 구하여 답을 구함.
aws의 데이터 베이스를 긁어와서 주소를 받고 spl에 넣어 데이터를 사용
사용한 것
`* import os
import pymysql
import time
import pandas as pd
import numpy as np
from tqdm.notebook import tqdm // 진행사항 시각화
from gensim.models.word2vec import word2Vec // 글자를 백터값을 지정`
공부할것
이미지나 데이터의 상수들을 사용하지만 이번에는 글자를 명사, 형용사를 나눠 사용하는 것을 배움
배운 것
Word2Vec -- 명사와 형용사들을 추적하여 백터로 글자간의 상관관계를 파악하여 글자를 예측하는 모델. `def preprocessingText(text) //전처리할 영화 줄거리 결과를 저장 하는 리스트 stems = [] // text 나누고 품사를 붙여서 리턴 //stem=True : 단어의 기본형으로 변환 tagged_review = twitter.pos(text, stem=True)
for word,pos in tagged_review: // len(word) : 단어의 글자수가 2글자 이상이면 // 품사가 Noun(명사) || Adjective(형용사) 일경우에 word를 추가 if pos == "Noun" || pos == "Adjective": stem.append(word) return " ".join(stems) `
함수를 만들어서 글자를 나누고 사용
동사를 넣게 되면 글자의 의미가 다양하게 변화 할 수 있으므로 좀 더 정확한 주제를 구하기 위해 동사는 제외하고 구함
따라서 글자들을 인코딩을 하여 백터값들을 구하여 글자간의 거리를 구하여 답을 구함.
aws의 데이터 베이스를 긁어와서 주소를 받고 spl에 넣어 데이터를 사용
사용한 것
`* import os
공부할것