shimopino
commented
4 years ago - [6] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross Girshick. Momentum contrast for unsupervised visual representation learning. arXiv:1911.05722, 2019
Open shimopino opened 4 years ago
shimopino
commented
4 years ago shimopino
commented
4 years ago
論文へのリンク
[arXiv:2003.04297] Improved Baselines with Momentum Contrastive Learning
著者・所属機関
Xinlei Chen, Haoqi Fan, Ross Girshick, Kaiming He
投稿日時（YYYY-MM-DD）
2020-03-09
1. どんなもの？
本研究ではSimCLRとMomentum Contrast(MoCo)を組み合わせた手法を提案した。MLPでベクトルを投影しデータ増強手法を更に適用することで、SimCLRよりも少ないバッチ数でSiｍCLRを上回る精度を達成した
2. 先行研究と比べてどこがすごいの？
3. 技術や手法の"キモ"はどこにある？
4. どうやって有効だと検証した？
ImageNetデータセットで学習を行い、(1)学習できた表現ベクトルを固定して線型結合層を出力ベクトルに適用して分類精度を比較し、(2)物体検知タスクに転移学習を行った。
またContrastive Learningを実行時には2048次元の2つのHeadを適用している。以下のようにHeadを適用することで精度の向上が確認できる。
MLPの使用や学習率の設定などを試し、ImageNetの分類精度や物体検知の精度を比較した。すべてのテクニックを使用した場合が最も高い精度を発揮できている。
より少ないバッチ数とより短い学習時間でSimCLRを上回る精度を発揮している。
V100を8機使用した場合のメモリ使用量と計算コストを比較した。End-to-Endで学習を行う場合は、SimCLRの学習コストが反映されている。同じバッチサイズ256の場合では、End-to-Endの学習ではクエリとキーへの逆伝播も行う必要があるため、より多くのメモリや計算コストを要している。
5. 議論はあるか？