search

lblaoke / TLC

PyTorch implementation of the paper "Trustworthy Long-Tailed Classification" (CVPR 2022)
59 stars 12 forks source link

cifar10数据集有问题 #3

Open singing4you opened 2 years ago

singing4you commented 2 years ago

TLC代码中的cifar10不平衡数据集有个decay_stride = 2.1971 ，最终每个种类的样本数为 [5000, 3172, 2012, 1276, 810, 514, 326, 207, 131, 83]，而RIDE每个种类样本数为 [5000, 2997, 1796, 1077, 645, 387, 232, 139, 83, 50] ，最终的分类准确率也有80.6% ；也就是说用更多的数据去训练达到的效果才跟别人一样，这也能叫刷新sota嘛？

lblaoke commented 2 years ago

包括decay_stride在内的很多实验设置都没有照搬RIDE（因为任务不完全一样），论文中RIDE的结果是重跑的（所有methods的实验结果都是在相同设置下跑出来的），不需要跟RIDE的原论文结果比。而且RIDE原论文中并没有用到CIFAR-10这个数据集。

Marssgon commented 2 years ago

如果按照TLC代码的设置，cifar10数据集的不平衡比率就不为100了，这样对比是否公平呢？