search

eraserNut / MTMT

Code for the CVPR 2020 paper "A Multi-task Mean Teacher for Semi-supervised Shadow Detection"
101 stars 14 forks source link

Can't reproduce the result #22

Closed cvbird closed 3 years ago

cvbird commented 3 years ago

First of all thanks for sharing your code. However, I can't reproduce your result in your paper as BER value 3.15. Actually, I am puzzled that in your test_MT_util.py, codes for calculating the BER result were commented. More importantly, if they were useful, they only calculated BER value of only one image. This is somehow wired. Can you pls upload the entire code for inference to get the desired BER values ?

Thank you very much.

eraserNut commented 3 years ago
  1. You can run test_MT.py, which is used to calculate the metrics of the whole dataset.
  2. When evaluating SBU dataset, you can uncomment line 48 in test_MT_util.py.
cvbird commented 3 years ago
  1. You can run test_MT.py, which is used to calculate the metrics of the whole dataset.
  2. When evaluating SBU dataset, you can uncomment line 48 in test_MT_util.py.

Thanks for you quick reply. I did following your suggestions and the results are something like: Current Jaccard is 0.8272470436377486 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 630/638 [02:45<00:01, 4.16it/s]Current Jaccard is 0.8272795573095455 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 631/638 [02:46<00:01, 3.83it/s]Current Jaccard is 0.8272223710022559 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 632/638 [02:46<00:01, 3.44it/s]Current Jaccard is 0.8271257484265705 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 633/638 [02:46<00:01, 3.69it/s]Current Jaccard is 0.8272335971925192 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 634/638 [02:47<00:01, 3.88it/s]Current Jaccard is 0.8273696282772849 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 635/638 [02:47<00:00, 3.93it/s]Current Jaccard is 0.8275999479473156 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 636/638 [02:47<00:00, 3.85it/s]Current Jaccard is 0.8275516372068508 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 637/638 [02:47<00:00, 3.87it/s]Current Jaccard is 0.8274465430535455 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 638/638 [02:48<00:00, 3.80it/s] Test ber results: 0.8274465430535455

In my opinion, Jaccard is not equal to BER. If something is wrong, please kindly point out. Thank you again.

eraserNut commented 3 years ago

You can comment the calculate of Jaccard and uncomment the calculate of BER in test_MT_util.py. For your convenience, we update it in our code.

cvbird commented 3 years ago

You can comment the calculate of Jaccard and uncomment the calculate of BER in test_MT_util.py. For your convenience, we update it in our code.

Thanks for your patient comment and I finally get a roughly consistent result. Cheers~~~