TinyImageNet数据集预处理

[Joey010]

TinyImageNet数据集实验中

• 首先，我对数据集没有预处理直接切分，执行python main.py -data TinyImageNetDir -nb 200 -m cnn -go cnn -t 1 -nc 20 -jr 1.0 -gr 1000 -algo FedCP -did 1 -lam 5。此时FedCP的实验结果是50.93，高于论文中的43.49。
• 然后，排查代码时，发现可能是数据集切分前没有预处理，导致val部分的图像切分后所有图像被划为同一类，因为val部分和train部分的图像文件存储不一样。因此需要做一些修改，让val部分和train一样，同一类别的图片，都放到同一个文件夹下，并且类别名和train文件夹一样。
• 最后，我参考 https://github.com/AI-secure/DBA/blob/master/utils/tinyimagenet_reformat.py ，进行了数据集预处理。此时FedCP的实验结果是40.95，低于论文中的43.49。
• 此外，执行python main.py -data TinyImageNetDir -nb 200 -m cnn -go cnn -t 1 -nc 20 -jr 1.0 -gr 500 -algo FedALA -did 2 -et 1 -p 1 -s 80。此时FedALA的实验结果是19.93，远低于论文中的40.49。如果对数据集不进行预处理，即直接切分的话，FedALA的实验结果是49.54，反而高于论文中的40.49。

因此咨询一下你利用TinyImageNet数据集实验

• 是否对数据集进行了预处理？如何处理val数据？
• 数据集预处理与否，为什么导致FedALA的结果差距很大？

[TsingZ0]

进行了预处理，对于val的预处理方法在google上很容易搜到。

不同的预处理方式会给实验结果造成很大的影响，毕竟数据变了。