search

XLearning-SCU / 2021-CVPR-Completer

PyTorch implementation for COMPLETER: Incomplete Multi-view Clustering via Contrastive Prediction (CVPR 2021)
MIT License
108 stars 34 forks source link

最大化互信息和对比学习的相关实验 #21

Closed Dennisasdzz closed 10 months ago

Dennisasdzz commented 10 months ago

大佬您好，有证明说 对比学习其实也是在做最大化互信息这件事情。但是我把模型的最大化互信息替换成infoNCE后(也就是您们组里面的CC那个实例级损失函数)，发现效果没有那么惊艳，请问大佬尝试过相关实验吗？比如我在NoisyMnist数据集上尝试，发现infoNCE+重构的效果并不是很好，大概acc在76左右，而互信息+重构能够到达90+；我能想到的一些方面: 调参、归一化等问题。

Lin-Yijie commented 10 months ago

您好，CC的实例级损失函数采用的是与SimCLR相同的损失，我们之前尝试过SimCLR在Noisy Mnist上的效果，指标应该是97+。您可以试一下调整参数，平衡下不同的损失。

Dennisasdzz commented 10 months ago

谢谢，我调出来了结果。