search

knok / arxiv-memo

My arxiv papers memo
0 stars 0 forks source link

ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer #115

Open knok opened 3 years ago

knok commented 3 years ago

Yuanmeng Yan, Rumei Li, Sirui Wang, Fuzheng Zhang, Wei Wu, Weiran Xu

https://arxiv.org/abs/2105.11741v1

概要

従来のBERT系モデルは文書類似タスク(STS)に弱いことが知られている。 自己教師ありContrasive learningをBERTに適用することでSTS, NLIでより良いスコアを得られるようになったとのこと。 教師あり手法であるsentence-BERTをしのぐこともある。

SlimCLRから着想を得ており、オリジナルセンテンスと、データ拡張結果とのcontrasive learningを行う。 image データ拡張方法は単語埋め込み層に対し主に4つを行う。

  1. 敵対的サンプル
  2. トークン入れ替え
  3. カットオフ(トークンレベルと特徴レベル)
  4. Dropout

image

STSタスクでの精度向上以外にも、NLUでよい結果を得られた。

実装は公開予定 https://github.com/yym6472/ConSERT