search

ai-starthon / AI_Starthon2019

60 stars 44 forks source link

NLP Task에서 (16~19번) Preprocessing 시 library 사용 여부 문의. #227

Closed seunghokimj closed 5 years ago

seunghokimj commented 5 years ago

Question

18 에서 "전처리 단에는 konlpy, sentencepiece 와 같이 오픈소스로 공개되어있는 package는 사용할 수 있습니다." 라고 하셨습니다.

vocab_build, word2vec 계산을 위해 gensim, fasttext 등의 package 도 사용할 수 있나요?

jungwoo-ha commented 5 years ago

@seunghokimj w2v나 fasttext의 코드는 사용가능하지만 주어진 훈련 데이터로 scratch만 가능하고 pretrained 모델을 사용은 불가능합니다.