[2021] DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings

[cfiken]

0. 論文

タイトル	DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings
リンク	https://arxiv.org/abs/2109.12599
著者	Che Liu, Rui Wang, Jinghua Liu, Jian Sun, Fei Huang, Luo Si (Alibaba Group)
投稿日付	EMNLP2021 2021/9/26 on arxiv

1. どんなもの？

対話データセットを用いた contrastive learning の手法 DialogueCSE を提案。 ある対話（発話の集合）の内の1つを返答と見た時に、返答だけから BERT で作る context-free embedding と、他の発話（コンテキスト）を使った提案手法 matching guided embedding (MGE) mechanism によって context-aware embedding を作成し、この2つを positive pair とし、同様の処理をコンテキストを固定し返答をデータセットからランダムサンプリングして得られる embedding の組を negative pair として学習を行う。 対話データでの評価方法も確立し、siamese などの既存手法と比べてスコアを大きく改善した。

2. 先行研究と比べてどこがすごい？

• 対話データを対象にした contrastive learning でスコアを大きく改善した。

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

• タスク
  • semantic retrieval と dialogue-based STS で実験
• ベンチマークデータセット
  • Microsoft Dialogue Corpus (MDC), Jing Dong Dialogue Corpus (JDDC), E-commerce Dialogue Corpus (ECD)
• ベースラインモデル
  • Self-supervised ベース: BERT, domain adaptive BERT, BERT-flow, BERT-whitening
  • Dialogue Self-supervised ベース: SiameseBERTs, SiameseBERTm
• 結果
  • 

5. 議論はある？

• [IMO] CSE とついてるけど SimCSE の拡張手法ではない

6. 次に読むべき論文は？

• SimCSE
  • https://github.com/cfiken/paper-reading/issues/132