[week8] 새로운 scoring function에서 Vc의 정체

[sujeongim]

논문에서 제시한 새로운 scoring function은 아래 사진과 같습니다. 이 식에서는 word가 아닌 각각의 n-gram vector(z_g)와 Vc를 내적한 값을 모두 더한 것을 score로 정의합니다.

여기에서 V_c는 원래 skip gram model에서의 V_wc와 같다고 생각했는데, 그러면 n-gram vector와 word vector를 모두 사용한다고 이해하면 될까요..?? 아니면 V_c도 n-gram의 조합으로 표현이 되어야 하는건지 궁금합니다.

[xuio-0528]

오늘 설명드린 점을 요약하면 subword의 경우 skip-gram을 선행하기 때문에 Vc 임베딩이 이미 존재하게 됩니다. 그렇기에 s(w,c) 즉, 유사도가 존재하게 되고 이를 바탕으로 subword들을 학습할 수 있게 됩니다. 하지만 Vc는 또다시 중심단어로 설정될 수 있고 이러한 것이 지속됨에 따라 s(w,c)와 subword 모두 업데이트 됩니다