search

qq456cvb / Point-Transformers

Point Transformers
MIT License
609 stars 102 forks source link

A question about initial learning rate. #3

Closed MenghaoGuo closed 3 years ago

MenghaoGuo commented 3 years ago

Thanks for your attention to PCT ! In our experiments, I find the PCT is sensitive to initial lr. 1e-3 is too large to make pct converge. I change the initial lr from 1e-3 to 1e-4 and get following results.

batch_size: 16 epoch: 200 gpu: 1 learning_rate: 0.0001 model: name: Menghao name: Menghao normal: true num_point: 1024 optimizer: Adam weight_decay: 0.0001

[2021-01-13 11:59:39,205][main][INFO] - Load dataset ... The size of train data is 9843 The size of test data is 2468 [2021-01-13 11:59:42,420][main][INFO] - No existing model, starting training from scratch... [2021-01-13 11:59:42,421][main][INFO] - Start training... [2021-01-13 11:59:42,421][main][INFO] - Epoch 1 (1/200): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 616/616 [03:09<00:00, 3.25it/s] [2021-01-13 12:02:51,857][main][INFO] - Train Instance Accuracy: 0.387277 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:48<00:00, 3.20it/s] [2021-01-13 12:03:40,472][main][INFO] - Test Instance Accuracy: 0.511694, Class Accuracy: 0.345986 [2021-01-13 12:03:40,472][main][INFO] - Best Instance Accuracy: 0.511694, Class Accuracy: 0.345986 [2021-01-13 12:03:40,472][main][INFO] - Save model... [2021-01-13 12:03:40,472][main][INFO] - Saving at best_model.pth [2021-01-13 12:03:40,559][main][INFO] - Epoch 2 (2/200): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 616/616 [03:13<00:00, 3.18it/s] [2021-01-13 12:06:54,418][main][INFO] - Train Instance Accuracy: 0.488636 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:48<00:00, 3.16it/s] [2021-01-13 12:07:43,537][main][INFO] - Test Instance Accuracy: 0.663710, Class Accuracy: 0.506854 [2021-01-13 12:07:43,538][main][INFO] - Best Instance Accuracy: 0.663710, Class Accuracy: 0.506854 [2021-01-13 12:07:43,538][main][INFO] - Save model... [2021-01-13 12:07:43,538][main][INFO] - Saving at best_model.pth [2021-01-13 12:07:43,680][main][INFO] - Epoch 3 (3/200): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 616/616 [03:09<00:00, 3.25it/s] [2021-01-13 12:10:53,202][main][INFO] - Train Instance Accuracy: 0.549682 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:49<00:00, 3.11it/s] [2021-01-13 12:11:43,145][main][INFO] - Test Instance Accuracy: 0.747581, Class Accuracy: 0.612702 [2021-01-13 12:11:43,146][main][INFO] - Best Instance Accuracy: 0.747581, Class Accuracy: 0.612702 [2021-01-13 12:11:43,146][main][INFO] - Save model... [2021-01-13 12:11:43,146][main][INFO] - Saving at best_model.pth [2021-01-13 12:11:43,239][main][INFO] - Epoch 4 (4/200): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 616/616 [03:11<00:00, 3.22it/s] [2021-01-13 12:14:54,499][main][INFO] - Train Instance Accuracy: 0.592549 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:49<00:00, 3.16it/s] [2021-01-13 12:15:43,646][main][INFO] - Test Instance Accuracy: 0.799597, Class Accuracy: 0.684245 [2021-01-13 12:15:43,647][main][INFO] - Best Instance Accuracy: 0.799597, Class Accuracy: 0.684245 [2021-01-13 12:15:43,647][main][INFO] - Save model... [2021-01-13 12:15:43,647][main][INFO] - Saving at best_model.pth [2021-01-13 12:15:43,773][main][INFO] - Epoch 5 (5/200): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 616/616 [03:10<00:00, 3.23it/s] [2021-01-13 12:18:54,845][main][INFO] - Train Instance Accuracy: 0.625095 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:48<00:00, 3.19it/s] [2021-01-13 12:19:43,585][main][INFO] - Test Instance Accuracy: 0.813306, Class Accuracy: 0.711771 [2021-01-13 12:19:43,586][main][INFO] - Best Instance Accuracy: 0.813306, Class Accuracy: 0.711771 [2021-01-13 12:19:43,586][main][INFO] - Save model... [2021-01-13 12:19:43,586][main][INFO] - Saving at best_model.pth [2021-01-13 12:19:43,692][main][INFO] - Epoch 6 (6/200): 7%|██████████▏ | 44/616 [00:15<02:27, 3.89it/s]

Best Regards, Menghao

MenghaoGuo commented 3 years ago

In the end, the accuracy I got was 92.6.

[2021-01-14 01:53:36,615][main][INFO] - Test Instance Accuracy: 0.918952, Class Accuracy: 0.882602 [2021-01-14 01:53:36,616][main][INFO] - Best Instance Accuracy: 0.925851, Class Accuracy: 0.896355 [2021-01-14 01:53:36,616][main][INFO] - End of training...

qq456cvb commented 3 years ago

Thanks for your suggestion and glad to see such an improvement! I will update this result in README.

MenghaoGuo commented 3 years ago

Thanks.