关于CLIC Professional Validation dataset上的MS-SSIM结果

[hytu99]

您好，我想确认一下，对于CLIC数据集，你们是在CLIC 2020 professional validation set的41张图片上进行测试的吗？

我正在CLIC 2020 professional validation set上做一些测试，由于您暂未发布面向MS-SSMI训练的模型。我用compressai官方发布的cheng2020-attn (optimized for MS-SSIM)模型，测出来的结果如下（为了节约时间，使用的是entropy-estimation模式，但和实际压缩差别不大）： { "ms-ssim": [ 0.9485660457029575, 0.9640006800977196, 0.9746105394712309, 0.982909100811656, 0.9871920754269856, 0.9904760369440404 ], "bpp": [ 0.07344438667159255, 0.11335148580554055, 0.1676517518736967, 0.25349851770371923, 0.35020289660953896, 0.4888123557334993 ], }

以dB为单位，则MS-SSIM为 [ 12.8875, 14.43706, 15.95347, 17.67235, 18.92521, 20.21182, ] 我测出来的结果和论文中Figure 7右图中的结果相差较大（论文中结果整体偏高），您知道问题出在哪吗？是数据集的问题，还是测试细节上有一些问题？

另外面向MSE优化的cheng2020-attn模型，我测出来结果如下： { "psnr": [ 30.32762732156893, 31.62418156135373, 33.03751177904083, 34.74842425090511, 36.019728218636864, 37.394848800287015 ], "bpp": [ 0.08608534591408765, 0.12756635571216665, 0.19314934858461705, 0.3055826674510793, 0.42445681334995644, 0.5825808095495876 ], } 和论文中的结果也略有差别，但差别不大。

[Googolxx]

对，是在CLIC 2020 professional validation set的41张图片上进行测试的。 你的意思是说你测试cheng2020的结果整体会偏低？对吧。 我论文里面cheng2020的结果是从cheng2020的官方代码库拿到的结果。 我没记错的话，compressai官方开源的结果和cheng2020官方给的那个结果是比较一致的。 因为你是在compressai上测试的，所以我对比了一下你给的结果和compressai的结果，你测试的结果似乎要比compressai上给的结果低了一些。所以我建议你想和compressai的结果对齐？也就是上面那个链接，clic2020 professional validation set的结果应该是在clic2020-mobile这个文件夹下的。 我也不太清楚是哪里的问题导致你测试结果偏低，但你用compressai的pretrained models，应该是要能得到跟compressai里一样的结果? 所以我感觉你在kodak上测试下，看结果能不能和compressai的结果对应上。如果kodak对的上，clic对不上，那应该就是你用的41张clic数据集可能存在一些问题。如果kodak也对不上，那可能就是其他地方的问题了。

[hytu99]

您好，感谢回复！ 我这边测试了一下，Kodak数据集上是能对上的，可能是我用的CLIC数据集有些问题。

关于CLIC的数据集，我有一些疑问：

1. Compressai的issue#81和issue#122中提到过，是分别在professional和mobile的test set上测试的。我的理解就是mobile文件夹下是mobile test set，professional文件夹下是professional test set。而你提到说clic2020 professional validation set的结果应该是在clic2020-mobile这个文件夹下，这个是什么情况？可以解释一下吗？我试了试，compressai clic mobile里的结果确实能和cheng2020官方给的结果对上。
2. 你能提供一下你们使用的CLIC 2020 professional validation set的下载链接吗？我应该是从这里下的https://data.vision.ee.ethz.ch/cvl/clic/professional_valid_2020.zip

[Googolxx]

2. 我现在找不到当时clic2020的下载链接了，但我在你给的链接上下了数据，跟本地的对比，数据是没有问题的。 1.这个问题，目前就我看到的论文中对clic2020的测试大部分应该都是clic2020 professional validation set，也就是那41张图像。如果我没记错的话，clic2020 professional validation set的结果似乎是和compressai中mobile下的结果能对应上的。确实也比较奇怪吧，具体这里面的原因，我没仔细去测试，所以也不太清楚怎么回事。

[hytu99]

您好，我测了一下，如果用CLIC mobile test下的178张图片来测试，得到的结果和compressai中mobile下的结果能对上。这样的话，compressai这边的结果就没问题，但不清楚为什么cheng2020论文中的结果是和compressai中mobile对上的。

另外，请问你们有准备release面向MS SSIM优化的模型吗？