Open nivosco opened 3 years ago
Hi, I've tried to reproduce your training results using a machine with 4 V100 GPUs on GCP and got bad results. I've used the following command: "CUDA_VISIBLE_DEVICES=0,1,2,3 python main -a eca_resnet50 --ksize 3557 ./datasets/ILSVRC2012/images"
do I need to change anything else?
I'm attaching the logs I got (val_prec1.txt): 0 tensor(0.8160, device='cuda:0') 1 tensor(0.7300, device='cuda:0') 2 tensor(0.7210, device='cuda:0') 3 tensor(0.7790, device='cuda:0') 4 tensor(0.7510, device='cuda:0') 5 tensor(0.7250, device='cuda:0') 6 tensor(0.7140, device='cuda:0') 7 tensor(0.6690, device='cuda:0') 8 tensor(0.6750, device='cuda:0') 9 tensor(0.7770, device='cuda:0') 10 tensor(0.7440, device='cuda:0') 11 tensor(0.7330, device='cuda:0') 12 tensor(0.7710, device='cuda:0') 13 tensor(0.7130, device='cuda:0') 14 tensor(0.7320, device='cuda:0') 15 tensor(0.7160, device='cuda:0') 16 tensor(0.6990, device='cuda:0') 17 tensor(0.7970, device='cuda:0') 18 tensor(0.7570, device='cuda:0') 19 tensor(0.7030, device='cuda:0') 20 tensor(0.8230, device='cuda:0') 21 tensor(0.7200, device='cuda:0') 22 tensor(0.7500, device='cuda:0') 23 tensor(0.7220, device='cuda:0') 24 tensor(0.6840, device='cuda:0') 25 tensor(0.7450, device='cuda:0') 26 tensor(0.8360, device='cuda:0') 27 tensor(0.7770, device='cuda:0') 28 tensor(0.7570, device='cuda:0') 29 tensor(0.7390, device='cuda:0') 30 tensor(0.6710, device='cuda:0') 31 tensor(0.6530, device='cuda:0') 32 tensor(0.6690, device='cuda:0') 33 tensor(0.6420, device='cuda:0') 34 tensor(0.6580, device='cuda:0') 35 tensor(0.6230, device='cuda:0') 36 tensor(0.5740, device='cuda:0') 37 tensor(0.6550, device='cuda:0') 38 tensor(0.6670, device='cuda:0') 39 tensor(0.6340, device='cuda:0') 40 tensor(0.6620, device='cuda:0') 41 tensor(0.6270, device='cuda:0') 42 tensor(0.6570, device='cuda:0') 43 tensor(0.6270, device='cuda:0') 44 tensor(0.6500, device='cuda:0') 45 tensor(0.6690, device='cuda:0') 46 tensor(0.6150, device='cuda:0') 47 tensor(0.6460, device='cuda:0') 48 tensor(0.6230, device='cuda:0') 49 tensor(0.6410, device='cuda:0') 50 tensor(0.6720, device='cuda:0') 51 tensor(0.6370, device='cuda:0') 52 tensor(0.6340, device='cuda:0') 53 tensor(0.7130, device='cuda:0') 54 tensor(0.6680, device='cuda:0') 55 tensor(0.6820, device='cuda:0') 56 tensor(0.6420, device='cuda:0') 57 tensor(0.6700, device='cuda:0') 58 tensor(0.6340, device='cuda:0') 59 tensor(0.6370, device='cuda:0') 60 tensor(0.6210, device='cuda:0') 61 tensor(0.5950, device='cuda:0') 62 tensor(0.6200, device='cuda:0') 63 tensor(0.6210, device='cuda:0') 64 tensor(0.6180, device='cuda:0') 65 tensor(0.5970, device='cuda:0') 66 tensor(0.6280, device='cuda:0') 67 tensor(0.6030, device='cuda:0') 68 tensor(0.5980, device='cuda:0') 69 tensor(0.6180, device='cuda:0') 70 tensor(0.5990, device='cuda:0') 71 tensor(0.6200, device='cuda:0') 72 tensor(0.6070, device='cuda:0') 73 tensor(0.6030, device='cuda:0') 74 tensor(0.5960, device='cuda:0') 75 tensor(0.5970, device='cuda:0') 76 tensor(0.5930, device='cuda:0') 77 tensor(0.6420, device='cuda:0') 78 tensor(0.6060, device='cuda:0') 79 tensor(0.6140, device='cuda:0') 80 tensor(0.5990, device='cuda:0') 81 tensor(0.6120, device='cuda:0') 82 tensor(0.6100, device='cuda:0') 83 tensor(0.6070, device='cuda:0') 84 tensor(0.6110, device='cuda:0') 85 tensor(0.5980, device='cuda:0') 86 tensor(0.6030, device='cuda:0') 87 tensor(0.5980, device='cuda:0') 88 tensor(0.6070, device='cuda:0') 89 tensor(0.6000, device='cuda:0') 90 tensor(0.5920, device='cuda:0') 91 tensor(0.6030, device='cuda:0') 92 tensor(0.5960, device='cuda:0') 93 tensor(0.5940, device='cuda:0') 94 tensor(0.5950, device='cuda:0') 95 tensor(0.5950, device='cuda:0') 96 tensor(0.5960, device='cuda:0') 97 tensor(0.5910, device='cuda:0') 98 tensor(0.5890, device='cuda:0') 99 tensor(0.5950, device='cuda:0')
Hi, I've tried to reproduce your training results using a machine with 4 V100 GPUs on GCP and got bad results. I've used the following command: "CUDA_VISIBLE_DEVICES=0,1,2,3 python main -a eca_resnet50 --ksize 3557 ./datasets/ILSVRC2012/images"
do I need to change anything else?
I'm attaching the logs I got (val_prec1.txt): 0 tensor(0.8160, device='cuda:0') 1 tensor(0.7300, device='cuda:0') 2 tensor(0.7210, device='cuda:0') 3 tensor(0.7790, device='cuda:0') 4 tensor(0.7510, device='cuda:0') 5 tensor(0.7250, device='cuda:0') 6 tensor(0.7140, device='cuda:0') 7 tensor(0.6690, device='cuda:0') 8 tensor(0.6750, device='cuda:0') 9 tensor(0.7770, device='cuda:0') 10 tensor(0.7440, device='cuda:0') 11 tensor(0.7330, device='cuda:0') 12 tensor(0.7710, device='cuda:0') 13 tensor(0.7130, device='cuda:0') 14 tensor(0.7320, device='cuda:0') 15 tensor(0.7160, device='cuda:0') 16 tensor(0.6990, device='cuda:0') 17 tensor(0.7970, device='cuda:0') 18 tensor(0.7570, device='cuda:0') 19 tensor(0.7030, device='cuda:0') 20 tensor(0.8230, device='cuda:0') 21 tensor(0.7200, device='cuda:0') 22 tensor(0.7500, device='cuda:0') 23 tensor(0.7220, device='cuda:0') 24 tensor(0.6840, device='cuda:0') 25 tensor(0.7450, device='cuda:0') 26 tensor(0.8360, device='cuda:0') 27 tensor(0.7770, device='cuda:0') 28 tensor(0.7570, device='cuda:0') 29 tensor(0.7390, device='cuda:0') 30 tensor(0.6710, device='cuda:0') 31 tensor(0.6530, device='cuda:0') 32 tensor(0.6690, device='cuda:0') 33 tensor(0.6420, device='cuda:0') 34 tensor(0.6580, device='cuda:0') 35 tensor(0.6230, device='cuda:0') 36 tensor(0.5740, device='cuda:0') 37 tensor(0.6550, device='cuda:0') 38 tensor(0.6670, device='cuda:0') 39 tensor(0.6340, device='cuda:0') 40 tensor(0.6620, device='cuda:0') 41 tensor(0.6270, device='cuda:0') 42 tensor(0.6570, device='cuda:0') 43 tensor(0.6270, device='cuda:0') 44 tensor(0.6500, device='cuda:0') 45 tensor(0.6690, device='cuda:0') 46 tensor(0.6150, device='cuda:0') 47 tensor(0.6460, device='cuda:0') 48 tensor(0.6230, device='cuda:0') 49 tensor(0.6410, device='cuda:0') 50 tensor(0.6720, device='cuda:0') 51 tensor(0.6370, device='cuda:0') 52 tensor(0.6340, device='cuda:0') 53 tensor(0.7130, device='cuda:0') 54 tensor(0.6680, device='cuda:0') 55 tensor(0.6820, device='cuda:0') 56 tensor(0.6420, device='cuda:0') 57 tensor(0.6700, device='cuda:0') 58 tensor(0.6340, device='cuda:0') 59 tensor(0.6370, device='cuda:0') 60 tensor(0.6210, device='cuda:0') 61 tensor(0.5950, device='cuda:0') 62 tensor(0.6200, device='cuda:0') 63 tensor(0.6210, device='cuda:0') 64 tensor(0.6180, device='cuda:0') 65 tensor(0.5970, device='cuda:0') 66 tensor(0.6280, device='cuda:0') 67 tensor(0.6030, device='cuda:0') 68 tensor(0.5980, device='cuda:0') 69 tensor(0.6180, device='cuda:0') 70 tensor(0.5990, device='cuda:0') 71 tensor(0.6200, device='cuda:0') 72 tensor(0.6070, device='cuda:0') 73 tensor(0.6030, device='cuda:0') 74 tensor(0.5960, device='cuda:0') 75 tensor(0.5970, device='cuda:0') 76 tensor(0.5930, device='cuda:0') 77 tensor(0.6420, device='cuda:0') 78 tensor(0.6060, device='cuda:0') 79 tensor(0.6140, device='cuda:0') 80 tensor(0.5990, device='cuda:0') 81 tensor(0.6120, device='cuda:0') 82 tensor(0.6100, device='cuda:0') 83 tensor(0.6070, device='cuda:0') 84 tensor(0.6110, device='cuda:0') 85 tensor(0.5980, device='cuda:0') 86 tensor(0.6030, device='cuda:0') 87 tensor(0.5980, device='cuda:0') 88 tensor(0.6070, device='cuda:0') 89 tensor(0.6000, device='cuda:0') 90 tensor(0.5920, device='cuda:0') 91 tensor(0.6030, device='cuda:0') 92 tensor(0.5960, device='cuda:0') 93 tensor(0.5940, device='cuda:0') 94 tensor(0.5950, device='cuda:0') 95 tensor(0.5950, device='cuda:0') 96 tensor(0.5960, device='cuda:0') 97 tensor(0.5910, device='cuda:0') 98 tensor(0.5890, device='cuda:0') 99 tensor(0.5950, device='cuda:0')