EFFICIENT VECTOR REPRESENTATION FOR DOCUMENTS THROUGH CORRUPTION

[DaikiTanak]

Doc2VecC

publication

ICLR 2017

link

https://openreview.net/pdf?id=B1Igu2ogg

problem

unsupervised document embedding

method

Paragraph vectorでは文書IDから文書埋め込みをlookup-tableによって作成していたが、Doc2VecCでは文書の中からランダムに単語をサンプリングし、それらの単語埋め込み平均をglobal contextとして扱う。

• 訓練時間の大幅な減少

experiment

down stream taskにおいてParagraph vectorや重み付きw2vよりも高精度を達成した。