BYOL的预训练中好像使用了gt_label？ - Githubissues

PaddlePaddle / PASSL

PASSL包含 SimCLR，MoCo v1/v2，BYOL，CLIP，PixPro，simsiam, SwAV, BEiT，MAE 等图像自监督算法以及 Vision Transformer，DEiT，Swin Transformer，CvT，T2T-ViT，MLP-Mixer，XCiT，ConvNeXt，PVTv2 等基础视觉算法

Apache License 2.0

274 stars 64 forks source link

BYOL的预训练中好像使用了gt_label？ #134

Open youqingxiaozhua opened 1 year ago

youqingxiaozhua commented 1 year ago

在byol的config 中设置了 num_classes=1000: https://github.com/PaddlePaddle/PASSL/blob/9d7a9fd4af41772e29120553dddab1c162e4cb70/configs/byol/byol_r50_IM.yaml#L34
在model中设置了self.classifier = nn.Linear(embedding_dim, num_classes)，并且forward中将classif_out和label一起传给了head

https://github.com/PaddlePaddle/PASSL/blob/9d7a9fd4af41772e29120553dddab1c162e4cb70/passl/modeling/architectures/BYOL.py#L263

在L2 Head中将对比loss和有监督的CE loss加在了一起返回

https://github.com/PaddlePaddle/PASSL/blob/9d7a9fd4af41772e29120553dddab1c162e4cb70/passl/modeling/heads/l2_head.py#L43

jerrywgz commented 7 months ago

问题是否还存在，建议使用mae 可以先转到 https://github.com/PaddlePaddle/PLSC/tree/master/task/ssl/mae 来使用