Training AP is always 0 using coco128 dataset

Jessica-hub commented 7 months ago

I used the coco128 and unzip into the datasets folder. The command is python tools/train.py -f exps/example/custom/yolox_s.py -d 1 -b 32 --fp16 -o -c C:\Users\olivi\YOLOX\pretrained\yolox_s.pth However, the APs have a lot of nan and 0. The log details are below.

2024-03-03 15:05:28	INFO	yolox.core.trainer:130 - args: Namespace(experiment_name='yolox_s', name=None, dist_backend='nccl', dist_url=None, batch_size=32, devices=1, exp_file='exps/example/custom/yolox_s.py', resume=False, ckpt='C:\Users\olivi\YOLOX\pretrained\yolox_s.pth', start_epoch=None, num_machines=1, machine_rank=0, fp16=True, cache=None, occupy=True, logger='tensorboard', opts=[]) 2024-03-03 15:05:28	INFO	yolox.core.trainer:131 - exp value: ╒═══════════════════╤════════════════════════════╕ │ keys │ values │ ╞═══════════════════╪════════════════════════════╡ │ seed │ None │ ├───────────────────┼────────────────────────────┤ │ output_dir │ './YOLOX_outputs' │ ├───────────────────┼────────────────────────────┤ │ print_interval │ 10 │ ├───────────────────┼────────────────────────────┤ │ eval_interval │ 1 │ ├───────────────────┼────────────────────────────┤ │ dataset │ None │ ├───────────────────┼────────────────────────────┤ │ num_classes │ 71 │ ├───────────────────┼────────────────────────────┤ │ depth │ 0.33 │ ├───────────────────┼────────────────────────────┤ │ width │ 0.5 │ ├───────────────────┼────────────────────────────┤ │ act │ 'silu' │ ├───────────────────┼────────────────────────────┤ │ data_num_workers │ 4 │ ├───────────────────┼────────────────────────────┤ │ input_size │ (640, 640) │ ├───────────────────┼────────────────────────────┤ │ multiscale_range │ 5 │ ├───────────────────┼────────────────────────────┤ │ data_dir │ 'datasets/coco128' │ ├───────────────────┼────────────────────────────┤ │ train_ann │ 'instances_train2017.json' │ ├───────────────────┼────────────────────────────┤ │ val_ann │ 'instances_val2017.json' │ ├───────────────────┼────────────────────────────┤ │ test_ann │ 'instances_test2017.json' │ ├───────────────────┼────────────────────────────┤ │ mosaic_prob │ 1.0 │ ├───────────────────┼────────────────────────────┤ │ mixup_prob │ 1.0 │ ├───────────────────┼────────────────────────────┤ │ hsv_prob │ 1.0 │ ├───────────────────┼────────────────────────────┤ │ flip_prob │ 0.5 │ ├───────────────────┼────────────────────────────┤ │ degrees │ 10.0 │ ├───────────────────┼────────────────────────────┤ │ translate │ 0.1 │ ├───────────────────┼────────────────────────────┤ │ mosaic_scale │ (0.1, 2) │ ├───────────────────┼────────────────────────────┤ │ enable_mixup │ True │ ├───────────────────┼────────────────────────────┤ │ mixup_scale │ (0.5, 1.5) │ ├───────────────────┼────────────────────────────┤ │ shear │ 2.0 │ ├───────────────────┼────────────────────────────┤ │ warmup_epochs │ 5 │ ├───────────────────┼────────────────────────────┤ │ max_epoch │ 300 │ ├───────────────────┼────────────────────────────┤ │ warmup_lr │ 0 │ ├───────────────────┼────────────────────────────┤ │ min_lr_ratio │ 0.05 │ ├───────────────────┼────────────────────────────┤ │ basic_lr_per_img │ 0.00015625 │ ├───────────────────┼────────────────────────────┤ │ scheduler │ 'yoloxwarmcos' │ ├───────────────────┼────────────────────────────┤ │ no_aug_epochs │ 15 │ ├───────────────────┼────────────────────────────┤ │ ema │ True │ ├───────────────────┼────────────────────────────┤ │ weight_decay │ 0.0005 │ ├───────────────────┼────────────────────────────┤ │ momentum │ 0.9 │ ├───────────────────┼────────────────────────────┤ │ save_history_ckpt │ True │ ├───────────────────┼────────────────────────────┤ │ exp_name │ 'yolox_s' │ ├───────────────────┼────────────────────────────┤ │ test_size │ (640, 640) │ ├───────────────────┼────────────────────────────┤ │ test_conf │ 0.01 │ ├───────────────────┼────────────────────────────┤ │ nmsthre │ 0.65 │ ╘═══════════════════╧════════════════════════════╛ qt.qpa.fonts: Unable to open default EUDC font: "EUDC.TTE" 2024-03-03 15:05:34	INFO
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	30.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	90.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	0.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

per class AR:	class	AR	class	AR	class
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	90.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	90.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	0.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

2024-03-03 15:06:04	INFO	yolox.core.trainer:364 - Save weights to ./YOLOX_outputs\yolox_s 2024-03-03 15:06:05	INFO	yolox.core.trainer:364 - Save weights to ./YOLOX_outputs\yolox_s 2024-03-03 15:06:05	INFO
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	0.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	90.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	60.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

per class AR:	class	AR	class	AR	class
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	0.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	90.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	60.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

2024-03-03 15:06:13	INFO	yolox.core.trainer:364 - Save weights to ./YOLOX_outputs\yolox_s 2024-03-03 15:06:14	INFO	yolox.core.trainer:364 - Save weights to ./YOLOX_outputs\yolox_s 2024-03-03 15:06:14	INFO
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	0.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	40.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	0.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

per class AR:	class	AR	class	AR	class
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	0.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	80.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	0.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

2024-03-03 15:06:25	INFO	yolox.core.trainer:364 - Save weights to ./YOLOX_outputs\yolox_s 2024-03-03 15:06:25	INFO	yolox.core.trainer:364 - Save weights to ./YOLOX_outputs\yolox_s 2024-03-03 15:06:25	INFO
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	0.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	0.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	0.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

per class AR:	class	AR	class	AR	class
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	0.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	0.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	0.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

2024-03-03 15:06:33	INFO	yolox.core.trainer:364 - Save weights to ./YOLOX_outputs\yolox_s 2024-03-03 15:06:33	INFO	yolox.core.trainer:364 - Save weights to ./YOLOX_outputs\yolox_s 2024-03-03 15:06:33	INFO
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	0.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	0.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	0.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

per class AR:	class	AR	class	AR	class
0	nan	1	nan	2	nan
3	nan	4	nan	5	nan
6	nan	7	0.000	8	nan
9	nan	10	nan	11	nan
12	nan	13	nan	14	nan
15	nan	16	nan	17	nan
18	0.000	19	nan	20	nan
21	nan	22	nan	23	nan
24	nan	25	nan	26	0.000
27	nan	28	nan	29	nan
30	nan	31	nan	32	0.000
33	nan	34	0.000	35	nan
36	nan	37	0.000	38	nan
39	nan	40	nan	41	nan
42	nan	43	nan	44	0.000
45	nan	46	nan	47	nan
48	nan	49	0.000	50	nan
51	nan	52	nan	53	nan
54	nan	55	nan	56	0.000
57	0.000	58	nan	59	nan
60	nan	61	0.000	62	nan
63	nan	64	nan	65	nan
66	nan	67	nan	68	nan
69	0.000	70	0.000

mahaling commented 6 months ago

@Jessica-hub did you resolve this. I am also getting the same.

YCAyca commented 6 months ago

me tooo. I mean I get this error with custom dataset but still it would help to know why its like this with coco

ksaluja15 commented 2 months ago

Found the issue. The annotations in coco128 are incorrect, specifically the class ordering. I tried the same evaluation on the dataset downloaded from https://cocodataset.org/#download and it works perfectly fine.

Megvii-BaseDetection / YOLOX

Training AP is always 0 using coco128 dataset #1760