Liu, Yixin, and Pengfei Liu. 2021. “SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization.” arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2106.01890.
生成モデル（BART or Pegasus）はSeq2Seqを通常通り、MLEで学習する。
評価モデル（RoBERTa）ではソース文書と生成テキストの表現ベクトル（[CLS]トークンに対応するベクトル）を作成し、距離の近さ（コサイン類似度）を算出する。
Contrastive trainingにより、参照テキストとのROUGEスコアが高い生成テキストほど、距離が近くなるように学習する。
また、参照要約とソース文書も距離が近くなるように学習する。
diverse beam searchにより、複数の候補テキストを生成する。
ichiroex
commented
2 years ago 
解決したい課題
学習時の目的関数（MLE）と生成時の評価指標（BLEU, ROUGE）には"ギャップ"がある。 生成テキストの中から最も評価指標が高い候補テキストを選択できるようにしたい。 そのため、Quality estimationのように、reference-free evaluation problemとして要約タスクに取り組む。
提案手法
提案モデルは生成モデルと評価モデルの2段階で構成される。それぞれ独立に学習する。
生成モデル（BART or Pegasus）はSeq2Seqを通常通り、MLEで学習する。 評価モデル（RoBERTa）ではソース文書と生成テキストの表現ベクトル（
[CLS]トークンに対応するベクトル）を作成し、距離の近さ（コサイン類似度）を算出する。 Contrastive trainingにより、参照テキストとのROUGEスコアが高い生成テキストほど、距離が近くなるように学習する。 また、参照要約とソース文書も距離が近くなるように学習する。 diverse beam searchにより、複数の候補テキストを生成する。この論文も参考になる→ https://aclanthology.org/2020.acl-main.552.pdf
結果
提案手法（
SimCLS）により、生成テキストを選択することでベースラインよりもROUGE/BERTScoreなどが高くなった。 Entity-level（重要なentityに言及できているか）の評価でも良かった。