search

knok / arxiv-memo

My arxiv papers memo
0 stars 0 forks source link

Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations #152

Open knok opened 3 years ago

knok commented 3 years ago

Fangyu Liu, Yunlong Jiao, Jordan Massiah, Emine Yilmaz, Serhii Havrylov

https://arxiv.org/abs/2109.13059v2

概要

教師なしでよい文表現を得る手法の提案。 単一言語モデルからスタートしてセンテンスペアに疑似ラベルを付与して学習を進める。 image

STSタスクなどでよい結果を得られ、下流タスクとして分類にfine tuningした場合もよかった。