search

Sosuke115 / paper-reading

4 stars 1 forks source link

Pairwise Supervised Contrastive Learning of Sentence Representations [2021] #51

Open Sosuke115 opened 3 years ago

Sosuke115 commented 3 years ago

論文リンク

https://arxiv.org/pdf/2109.05424.pdf

概要

S-BERTなどのNLIデータセットでの学習における文ペアにおいて、矛盾ペアが必ずしも異なるセマンティクスに所属しているわけではなく、ハイレベルなコンセプトを捉えた文表現になっていない。

その問題を解決するためにpositive pairを他のペアから識別する 以下のinstance discrimination lossをSBERTのtripletロスに追加

Screen Shot 2021-10-05 at 20 14 09

SimCSEと上記目的関数は似ているが、negative exampleに重みをつけている。 重みαはペアの類似度（ziと他のネガティブサンプルと比較した際の相対的な価値）から計算

Screen Shot 2021-10-05 at 20 15 50

STSだとSimCSEに若干負けてるが、short text classificationでは勝っている

Screen Shot 2021-10-05 at 20 19 11
Sosuke115 commented 3 years ago

メモ: タスクも参考になりそう

Sosuke115 commented 3 years ago

メモ: devデータをどうしているか