GLOSS: Generative Latent Optimization of Sentence Representations

Generative Latent Optimization (GLO)をベースとした教師なし学習の文埋め込みを獲得する手法を提案。モデルは下図のように、Sentence IDによってLatent Vector zを獲得し、そこから埋め込みたい文のBack-of-Wordを予測するような構造となっている。推論時には、Latent Vector zをランダムに初期化し、reconstruction lossが最小となるzを探索する。Semantic Textual Similarityのタスクで、uSIFを上回る性能を達成。また、Supervised Task(MR, CR, SUBJ, MPQA, TREC)においても、従来の手法に匹敵する性能を達成。