Open yagumana opened 2 years ago
A Survey on Contrastive Self-supervised Learning 公開日時：2020/10/31 リンク：https://arxiv.org/abs/2011.00362
近年の自己教師あり学習（特に対照学習）に関する研究の動向について調査した論文 一般的な教師あり学習は、ラベル付けのコスト等の問題があるため、その対策として自己教師あり学習 は注目されている。
本論文では、主に画像や動画、自然言語処理に対照学習を導入するということに触れている 対照学習のarchitectureとして、(a) end-to-end,(b)memory bank...等4つ挙げていたが、これらの工夫によってどのようなメリットが得られるかの理解がしきれなかった(ex.gpuのメモリ的な問題を解消するために、memory bankを導入しているが、memory bankで保存する際には、メモリを消費しないのか)
損失関数としては、cos_sinを使ったNoise Contrastive Estimation.
対照学習がどれくらい有効か、また対照学習をする際に、どのようなaugmentationをするのが適切かという点において、より理論的な調査が必要。
SwAVってなんかすごそう
論文情報
A Survey on Contrastive Self-supervised Learning 公開日時：2020/10/31 リンク：https://arxiv.org/abs/2011.00362
どんなもの
近年の自己教師あり学習（特に対照学習）に関する研究の動向について調査した論文 一般的な教師あり学習は、ラベル付けのコスト等の問題があるため、その対策として自己教師あり学習 は注目されている。
対照学習について
本論文では、主に画像や動画、自然言語処理に対照学習を導入するということに触れている 対照学習のarchitectureとして、(a) end-to-end,(b)memory bank...等4つ挙げていたが、これらの工夫によってどのようなメリットが得られるかの理解がしきれなかった(ex.gpuのメモリ的な問題を解消するために、memory bankを導入しているが、memory bankで保存する際には、メモリを消費しないのか)
損失関数としては、cos_sinを使ったNoise Contrastive Estimation.
今後の課題
対照学習がどれくらい有効か、また対照学習をする際に、どのようなaugmentationをするのが適切かという点において、より理論的な調査が必要。
読んでて興味をもった他のモデル
SwAVってなんかすごそう