[펭귄] (FQ) Word2Vec과 GloVe의 단점

[CoodingPenguin]

❓ 질문 내용

• Word2Vec과 GloVe 알고리즘이 가지고 있는 단점은 무엇일까요?

---

📄 참고 자료

• DAY 16. Word Embedding

---

[CoodingPenguin]

다음을 참고했습니다.

• What are the advantages and disadvantages of Word2vec and GloVe?

---

Word2Vec의 단점

• vocabulary의 사이즈가 크기 때문에 모델이 softmax 함수를 사용하여 학습하기가 어렵다.

GloVe의 단점

• 모델은 단어의 co-occurence 행렬을 가지고 학습을 하는데 이는 꽤 많은 양의 메모리를 요구한다. 특히 co-occurence 행렬과 관련된 하이퍼파라미터를 변경할 경우 다시 행렬을 계산해야 하므로 시간이 많이 든다.

Word2Vec과 GloVe가 풀지 못한 문제

• vocabulary 외의 단어를 어떻게 표현할지
• 반의어 쌍을 어떻게 분리시킬지
  • good과 bad는 벡터 공간에서 매우 가깝게 붙어있다고 한다. 이럴 경우 감정분석과 같은 task의 성능이 낮아질 수 있다.