[2021/10/14]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #116

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[nogawanogawa]

SimCSE: Simple Contrastive Learning of Sentence Embeddings

論文URL

https://arxiv.org/abs/2104.08821

著者

Tianyu Gao, Xingcheng Yao, Danqi Chen

会議

EMNLP 2021

背景

効果的な分散表現を獲得することは、それを用いたNLPタスクの精度を上げることに寄与する。

目的

効果的なContrastive Learningで効率よく、より良い分散表現を獲得したい

アプローチ

• SimCSE
  • 教師なし
    • 学習済みのBERTに同じ文を二度入力する。このとき、Dropoutによって出力は微妙に異なる。このときのEmbeddingのcos simをlossとして扱って事前学習を行う
  • 教師あり
    • 含意のペアを教師なしの場合と同様にEncoding、このときの、（もともとの文、含意、矛盾）の3つのペアを使用してロスを計算することで事前学習を行う

参考

https://github.com/nogawanogawa/paper_memo/issues/18

[zerebom]

pytorch-lightningでBayesian Personalized Ranking(BPR)とMatrix Factorization(MF)を実装しました

• https://github.com/zerebom/bpr
• nn.EmbeddingでMFを実装
• MFのforwardとlossを変えるだけでBPR実装可能
• 話したこと
  • Dropoutってどうなんだろう
  • BPRのlossを外に書き出すとよりスマートかも?
  • 評価ちゃんとやると良さそう
    • 時間軸でsplitすると、実際の問題設計に近そう