[2021] Exploring Simple Siamese Representation Learning

[gatheluck]

論文リンク

• arXiv

公開日（yyyy/mm/dd）

2020/11/20

概要

TeX

% yyyy/mm/dd
@inproceedings{
    chen2021exploring,
    title={Exploring Simple Siamese Representation Learning},
    author={Xinlei Chen and Kaiming He},
    booktitle=CVPR,
    year={2021}
}

[gatheluck]

教師なし表現学習の基本構造であるSiamese networksについての研究. Siamese networksは以下の手法のいずれも使わなくても意味のある表現を学習可能.

• negative sample pairs
• large batches
• momentum encoders

実験結果が示唆することは, collapsing solutionsは loss and structureにあり, stop-gradient operationはcollapsionの抑制に必要不可欠な役割を果たしている.

上述の示唆に基づいて, SimSiamというベースラインの手法を提案. SimSaimはImageNet and downstream tasksでSoTAと同等の結果. SimSaimは内容的には「BYOL without the momentum encoder」,「SimCLR without negative pairs」,「SwAV without online clustering」.

[gatheluck]

collapsing（全ての入力がある定数に潰れてしまっている状態）を防ぐ手法.

• Contrastive learning（SimCLR）
• Clustering（SwAV）
• Momentum encoder（BYOL）