Closed Dennisasdzz closed 10 months ago
大佬您好,有证明说 对比学习其实也是在做最大化互信息这件事情。但是我把模型的最大化互信息替换成infoNCE后(也就是您们组里面的CC那个实例级损失函数),发现效果没有那么惊艳,请问大佬尝试过相关实验吗?比如我在NoisyMnist数据集上尝试,发现infoNCE+重构的效果并不是很好,大概acc在76左右,而互信息+重构能够到达90+;我能想到的一些方面: 调参、归一化等问题。
您好,CC的实例级损失函数采用的是与SimCLR相同的损失,我们之前尝试过SimCLR在Noisy Mnist上的效果,指标应该是97+。您可以试一下调整参数,平衡下不同的损失。
谢谢,我调出来了结果。
大佬您好,有证明说 对比学习其实也是在做最大化互信息这件事情。但是我把模型的最大化互信息替换成infoNCE后(也就是您们组里面的CC那个实例级损失函数),发现效果没有那么惊艳,请问大佬尝试过相关实验吗?比如我在NoisyMnist数据集上尝试,发现infoNCE+重构的效果并不是很好,大概acc在76左右,而互信息+重构能够到达90+;我能想到的一些方面: 调参、归一化等问题。