SimCSE: Simple Contrastive Learning of Sentence Embeddings

[nogawanogawa]

論文URL

https://arxiv.org/abs/2104.08821

著者

Tianyu Gao, Xingcheng Yao, Danqi Chen

会議

EMNLP 2021

背景

効果的な分散表現を獲得することは、それを用いたNLPタスクの精度を上げることに寄与する。

目的

効果的なContrastive Learningで効率よく、より良い分散表現を獲得したい

アプローチ

• SimCSE
  • 教師なし
    • 学習済みのBERTに同じ文を二度入力する。このとき、Dropoutによって出力は微妙に異なる。このときのEmbeddingのcos simをlossとして扱って事前学習を行う
  • 教師あり
    • 含意のペアを教師なしの場合と同様にEncoding、このときの、（もともとの文、含意、矛盾）の3つのペアを使用してロスを計算することで事前学習を行う

参考

https://tech.retrieva.jp/entry/2021/10/12/130850

[nogawanogawa]

アプローチ

教師なし

学習済みのBERTに同じ文を二度入力する。 このとき、Dropoutによって出力は微妙に異なる。

これは最小限のdata augmentationと考えられ、それを対応したい。

教師なしのケースでは、

教師あり

教師ありのときは、矛盾するケースも含め、下記のようなロスを最小化するように学習する。

[nogawanogawa]

STSでの評価

Semantic textual similarity tasksでの評価。

普通にBERTやRoBERTaを使うより優れいることを確認。

分布の妥当性

下図の左下に行くほど、まんべんなく分布して、かつ似た意味の文が近くに存在することを表す。 左下に位置しているので、提案手法はすごそう。