Results are not fixed

[YasuoFly]

Thanks to your excellent work, I used the official code to set the random seed and kept the parameters the same for both experiments. If the random seeds are the same, then the record of the two runs should also be the same. Here are the parameters for both experiments and the results. They are different.

[Jiaoyang45]

Even with fixed random seeds, it is not possible to achieve complete consistency in the results of several training sessions. But it can minimize the difference as much as possible to reach an acceptable level. Pursuing completely consistent results is difficult, as it is related to undiscovered code details, software versions, and hardware devices.

[YasuoFly]

@Jiaoyang45, I cannot reproduce the results from the paper at isic2018. Is it that my parameter settings are different from yours in any way, please can you tell me, thanks! This is the result of 4 training and testing sessions.

[Jiaoyang45]

For ISIC 2018, my "Img_ext" = .png

Also, please note: In this paper, ISIC 2018 dataset performed random split once using the "train_test_split" function, with a corresponding seed of 41. To ensure the reproducibility of the experiment, we strictly set the random seeds for functions such as Torch, Python, and Numpy to 1029 using the "seed_torch" function. #4 @YasuoFly

[YasuoFly]

@Jiaoyang45 Thanks for the quick reply. I download the ISIC2018 dataset, inside the image has a .jpg suffix and the labels have a .png suffix, did you do some manipulation to the image.

I have used the "train_test_split" function, with a corresponding seed of 41 and also used ”seed_torch“ with a corresponding seed of 1029. These are the default values for the code, I didn't change them.

[Jiaoyang45]

1. I had another work before, so I converted .jpg to .png. You can also try .png, maybe this is a possible reason?
2. Also, could you provide the specific content of "val_img_ids"? I suspect that even if different computers use the same random seed, the split results will be different.
3. Finally, please try to ensure that the environment version is consistent with Ubuntu 20.04 LTS, an i9-12900K CPU, an NVIDIA RTX A6000 GPU, Python 3.8, Pytorch 1.13, and CUDA 11.6. @YasuoFly

[YasuoFly]

@Jiaoyang45 Thanks!

1. Just change the suffix .jpg to .png? For example, is it okay to just directly Image.open then Image.save?
2. Here is my "val_img_ids".
3. If neither of the above works, I would try to keep the environment as consistent as possible.

And i find that val.py will also run with different results, although the results are very similar. Like this

[Jiaoyang45]

1. I can't remember how I converted it, but most likely I changed the suffix directly.

2. Our "val_img_ids" are indeed different. You can manually split the dataset according to the "val_img_ids" I provided, and then conduct training to observe whether the results are consistent with the paper.

“0000001.png 0000008.png 0000009.png 0000012.png 0000015.png 0000017.png 0000023.png 0000024.png 0000030.png 0000035.png 0000042.png 0000044.png 0000045.png 0000047.png 0000049.png 0000056.png 0000057.png 0000059.png 0000060.png 0000061.png 0000063.png 0000067.png 0000077.png 0000080.png 0000085.png 0000089.png 0000101.png 0000103.png 0000104.png 0000107.png 0000109.png 0000113.png 0000123.png 0000129.png 0000134.png 0000136.png 0000139.png 0000146.png 0000148.png 0000154.png 0000157.png 0000162.png 0000165.png 0000170.png 0000173.png 0000175.png 0000176.png 0000179.png 0000184.png 0000187.png 0000189.png 0000198.png 0000205.png 0000214.png 0000218.png 0000223.png 0000231.png 0000236.png 0000262.png 0000269.png 0000271.png 0000276.png 0000277.png 0000288.png 0000298.png 0000300.png 0000315.png 0000342.png 0000351.png 0000366.png 0000367.png 0000393.png 0000395.png 0000415.png 0000425.png 0000431.png 0000436.png 0000449.png 0000455.png 0000456.png 0000457.png 0000461.png 0000463.png 0000469.png 0000470.png 0000471.png 0000477.png 0000488.png 0000491.png 0000498.png 0000500.png 0000504.png 0000505.png 0000528.png 0000529.png 0000532.png 0000541.png 0000542.png 0000543.png 0000546.png 0000549.png 0000556.png 0000882.png 0000900.png 0001100.png 0001128.png 0001133.png 0001152.png 0001213.png 0001247.png 0001367.png 0001449.png 0001852.png 0002107.png 0002206.png 0002287.png 0002438.png 0002673.png 0002948.png 0002975.png 0004337.png 0004346.png 0005555.png 0005639.png 0006350.png 0006671.png 0006711.png 0006982.png 0007141.png 0007156.png 0007322.png 0007332.png 0007693.png 0008256.png 0008280.png 0008659.png 0008785.png 0008807.png 0008998.png 0009430.png 0009533.png 0009883.png 0009885.png 0009898.png 0009902.png 0009914.png 0009920.png 0009930.png 0009935.png 0009944.png 0009946.png 0009947.png 0009953.png 0009961.png 0009966.png 0009967.png 0009970.png 0009988.png 0010000.png 0010005.png 0010009.png 0010010.png 0010016.png 0010018.png 0010019.png 0010024.png 0010028.png 0010034.png 0010047.png 0010055.png 0010057.png 0010058.png 0010059.png 0010062.png 0010078.png 0010104.png 0010176.png 0010184.png 0010185.png 0010201.png 0010202.png 0010204.png 0010206.png 0010238.png 0010255.png 0010257.png 0010319.png 0010322.png 0010335.png 0010336.png 0010341.png 0010342.png 0010362.png 0010367.png 0010379.png 0010452.png 0010455.png 0010458.png 0010463.png 0010465.png 0010468.png 0010480.png 0010481.png 0010494.png 0010554.png 0010562.png 0010567.png 0010576.png 0010587.png 0010595.png 0010597.png 0010604.png 0010860.png 0011082.png 0011090.png 0011095.png 0011099.png 0011118.png 0011119.png 0011120.png 0011123.png 0011129.png 0011132.png 0011144.png 0011150.png 0011165.png 0011166.png 0011167.png 0011176.png 0011202.png 0011203.png 0011204.png 0011208.png 0011228.png 0011292.png 0011305.png 0011306.png 0011329.png 0011333.png 0011338.png 0011345.png 0011347.png 0011349.png 0011353.png 0011357.png 0011366.png 0011367.png 0011374.png 0011398.png 0011402.png 0012094.png 0012097.png 0012143.png 0012160.png 0012167.png 0012182.png 0012203.png 0012208.png 0012211.png 0012235.png 0012250.png 0012261.png 0012271.png 0012281.png 0012303.png 0012306.png 0012318.png 0012330.png 0012333.png 0012351.png 0012358.png 0012372.png 0012379.png 0012395.png 0012432.png 0012445.png 0012448.png 0012464.png 0012473.png 0012481.png 0012496.png 0012503.png 0012508.png 0012511.png 0012518.png 0012539.png 0012661.png 0012662.png 0012665.png 0012670.png 0012671.png 0012680.png 0012685.png 0012690.png 0012702.png 0012713.png 0012720.png 0012770.png 0012786.png 0012810.png 0012836.png 0012855.png 0012878.png 0012883.png 0012891.png 0012961.png 0012986.png 0012989.png 0013007.png 0013012.png 0013015.png 0013023.png 0013032.png 0013037.png 0013094.png 0013104.png 0013112.png 0013114.png 0013120.png 0013147.png 0013159.png 0013166.png 0013167.png 0013191.png 0013196.png 0013200.png 0013224.png 0013233.png 0013235.png 0013275.png 0013277.png 0013288.png 0013302.png 0013306.png 0013310.png 0013335.png 0013342.png 0013359.png 0013385.png 0013417.png 0013474.png 0013494.png 0013500.png 0013552.png 0013572.png 0013588.png 0013592.png 0013621.png 0013626.png 0013634.png 0013643.png 0013672.png 0013676.png 0013680.png 0013685.png 0013688.png 0013747.png 0013758.png 0013767.png 0013777.png 0013778.png 0013789.png 0013800.png 0013804.png 0013808.png 0013839.png 0013874.png 0013891.png 0013908.png 0013918.png 0013921.png 0013925.png 0013929.png 0013942.png 0013972.png 0013980.png 0013996.png 0014001.png 0014028.png 0014062.png 0014080.png 0014090.png 0014093.png 0014132.png 0014133.png 0014162.png 0014174.png 0014190.png 0014195.png 0014211.png 0014233.png 0014255.png 0014270.png 0014274.png 0014286.png 0014317.png 0014324.png 0014336.png 0014382.png 0014392.png 0014397.png 0014428.png 0014430.png 0014433.png 0014457.png 0014470.png 0014475.png 0014478.png 0014490.png 0014500.png 0014507.png 0014518.png 0014535.png 0014541.png 0014542.png 0014587.png 0014599.png 0014605.png 0014617.png 0014624.png 0014635.png 0014637.png 0014657.png 0014683.png 0014685.png 0014707.png 0014728.png 0014729.png 0014730.png 0014735.png 0014739.png 0014746.png 0014753.png 0014754.png 0014760.png 0014762.png 0014769.png 0014770.png 0014771.png 0014778.png 0014791.png 0014797.png 0014798.png 0014812.png 0014829.png 0014833.png 0014838.png 0014851.png 0014854.png 0014857.png 0014860.png 0014867.png 0014911.png 0014929.png 0014937.png 0014948.png 0014956.png 0015002.png 0015008.png 0015011.png 0015015.png 0015016.png 0015023.png 0015031.png 0015032.png 0015037.png 0015046.png 0015050.png 0015051.png 0015089.png 0015133.png 0015136.png 0015139.png 0015149.png 0015152.png 0015160.png 0015180.png 0015200.png 0015202.png 0015203.png 0015206.png 0015207.png 0015220.png 0015232.png 0015244.png 0015250.png 0015255.png 0015279.png 0015295.png 0015313.png 0015353.png 0015369.png 0015404.png 0015411.png 0015416.png 0015436.png 0015443.png 0015445.png 0015464.png 0015537.png 0015625.png 0015943.png 0015945.png 0015971.png 0016000.png 0016004.png 0016009.png 0016011.png 0016016.png 0016024.png 0016029.png 0016030.png 0016044.png 0016053.png 0016054.png 0016057.png 0016060.png 0016062.png 0016063.png ”

3. I didn't notice the inconsistency in the results of val.py before because the results usually only retain two decimal places after the percentage, so I didn't notice it

Looking forward to your good news. @YasuoFly