Open Sosuke115 opened 3 years ago
dropoutのランダム性を変えてエンコードした同一文の表現を近づけるような学習をすることで 良い文ベクトルを獲得
https://arxiv.org/pdf/2104.08821.pdf
教師なし設定では dropoutのランダム性を変えてエンコードした同一文の表現を近づけるようなcontrastive learningをする 普通のデータ拡張の手法やNLIのようにconstastive learningするモデルより強い
教師なし設定ではNLIのデータセットを用い、既存研究の3-way classification taskではなく cotrastive learningにより、性能が既存手法より良いことを示した。
STS
よくわからない点がいくつかある。
ひとことで言うと
dropoutのランダム性を変えてエンコードした同一文の表現を近づけるような学習をすることで 良い文ベクトルを獲得
論文リンク
https://arxiv.org/pdf/2104.08821.pdf
先行研究との差異
手法のキモ
教師なし設定では dropoutのランダム性を変えてエンコードした同一文の表現を近づけるようなcontrastive learningをする 普通のデータ拡張の手法やNLIのようにconstastive learningするモデルより強い
教師なし設定ではNLIのデータセットを用い、既存研究の3-way classification taskではなく cotrastive learningにより、性能が既存手法より良いことを示した。
評価方法
STS
議論
よくわからない点がいくつかある。
関連論文