search

ratsgo / embedding

한국어 임베딩 (Sentence Embeddings Using Korean Corpora)
https://ratsgo.github.io/embedding
MIT License
455 stars 130 forks source link

p.138에 대해 #33

Closed ohhara79 closed 5 years ago

ohhara79 commented 5 years ago

log k에서 k가 무엇인지 궁금합니다.

lovit commented 5 years ago

아래의 식 SPMI 에서의 k 는 임의의 양의 상수입니다. 하지만 Levy & Goldberg(2014) 에서 k 는 Word2Vec Skip gram 의 negative samples 의 개수와 동치임이 증명되었습니다. 

SPMI (A, B) = PMI(A, B) − log k
ratsgo commented 5 years ago

@lovit 님 말씀이 맞습니다. @ohhara79 님, @lovit 님 부족한 책에 관심 가져주셔서 진심으로 감사드립니다.