Closed GZ-Metal-Cell closed 6 months ago
您好,感谢您的反馈。 v0.3.x适配的是MindSpore r2.2.10及其后续bug fix版本,请考虑优先MindSpore r2.2.11。 根据您反馈的错误日志,疑似是数据后处理函数,与数据集格式适配存在bug。开发工程师正在进行debug。
您好,我们在MindSpore r2.2.11 release版本和MindOCR v0.3.1版本上,进行了测试,未复现您所提交的问题。 部分训练日志如后文所附。 建议您:
(ms-dev) [psw@10-90-43-193 mindocr]$python tools/train.py -c configs/det/dbnet/db_r18_totaltext.yaml
[2024-02-01 01:45:11] mindocr.train INFO - Standalone training. Device id: 0, specified by system.device_id in yaml config file or is default value 0.
[2024-02-01 01:45:14] mindocr.data.builder INFO - Creating dataloader (training=True) for device 0. Number of data samples: 1255 per device (1255 total).
[2024-02-01 01:45:17] mindocr.data.builder INFO - Creating dataloader (training=False) for device 0. Number of data samples: 300 per device (300 total).
[2024-02-01 01:45:17] mindocr.models.utils.load_model INFO - Finish loading model checkoint from https://download.mindspore.cn/toolkits/mindocr/dbnet/dbnet_resnet18_synthtext-251ef3dd.ckpt. If no parameter fail-load warning displayed, all checkpoint params have been successfully loaded.
[2024-02-01 01:45:17] mindocr.optim.param_grouping INFO - no parameter grouping is applied.
[2024-02-01 01:45:22] mindocr.train INFO -
========================================
Distribute: False
Model: det_resnet18-DBFPN-DBHead
Total number of parameters: 12351042
Total number of trainable parameters: 12340930
Data root: /ms_test3/psw/code/mindocr
Optimizer: SGD
Weight decay: 0.0001
Batch size: 20
Num devices: 1
Gradient accumulation steps: 1
Global batch size: 20x1x1=20
LR: 0.007
Scheduler: polynomial_decay
Steps per epoch: 62
Num epochs: 1200
Clip gradient: False
EMA: True
AMP level: O0
Loss scaler: {'type': 'dynamic', 'loss_scale': 512, 'scale_factor': 2, 'scale_window': 1000}
Drop overflow update: False
========================================
Start training... (The first epoch takes longer, please wait...)
[2024-02-01 01:46:13] mindocr.utils.callbacks INFO - epoch: [1/1200], loss: 2.780020, epoch time: 50.894 s, per step time: 820.863 ms, fps per card: 24.36 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:13<00:00, 21.51it/s]
[2024-02-01 01:46:27] mindocr.utils.callbacks INFO - Performance: {'recall': 0.5787810383747178, 'precision': 0.8835286009648519, 'f-score': 0.6993998908892527}, eval time: 14.135913610458374
[2024-02-01 01:46:27] mindocr.utils.callbacks INFO - => Best f-score: 0.6993998908892527, checkpoint saved.
[2024-02-01 01:46:51] mindocr.utils.callbacks INFO - epoch: [2/1200], loss: 2.967140, epoch time: 23.089 s, per step time: 372.398 ms, fps per card: 53.71 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:13<00:00, 23.02it/s]
[2024-02-01 01:47:04] mindocr.utils.callbacks INFO - Performance: {'recall': 0.6072234762979684, 'precision': 0.9026845637583892, 'f-score': 0.7260458839406208}, eval time: 13.16214632987976
[2024-02-01 01:47:04] mindocr.utils.callbacks INFO - => Best f-score: 0.7260458839406208, checkpoint saved.
[2024-02-01 01:47:29] mindocr.utils.callbacks INFO - epoch: [3/1200], loss: 2.520107, epoch time: 24.156 s, per step time: 389.613 ms, fps per card: 51.33 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:14<00:00, 21.20it/s]
[2024-02-01 01:47:43] mindocr.utils.callbacks INFO - Performance: {'recall': 0.6261851015801354, 'precision': 0.8604218362282878, 'f-score': 0.7248497517637835}, eval time: 14.256935596466064
[2024-02-01 01:48:08] mindocr.utils.callbacks INFO - epoch: [4/1200], loss: 2.506505, epoch time: 24.326 s, per step time: 392.352 ms, fps per card: 50.97 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:12<00:00, 24.39it/s]
[2024-02-01 01:48:21] mindocr.utils.callbacks INFO - Performance: {'recall': 0.5431151241534988, 'precision': 0.9065561416729465, 'f-score': 0.6792772444946358}, eval time: 12.399577140808105
[2024-02-01 01:48:46] mindocr.utils.callbacks INFO - epoch: [5/1200], loss: 2.584358, epoch time: 24.736 s, per step time: 398.971 ms, fps per card: 50.13 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:12<00:00, 23.79it/s]
[2024-02-01 01:48:59] mindocr.utils.callbacks INFO - Performance: {'recall': 0.582844243792325, 'precision': 0.8909592822636301, 'f-score': 0.7046943231441047}, eval time: 12.713114023208618
[2024-02-01 01:49:24] mindocr.utils.callbacks INFO - epoch: [6/1200], loss: 2.986135, epoch time: 24.694 s, per step time: 398.292 ms, fps per card: 50.21 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:12<00:00, 23.93it/s]
[2024-02-01 01:49:37] mindocr.utils.callbacks INFO - Performance: {'recall': 0.6419864559819413, 'precision': 0.8915360501567398, 'f-score': 0.7464566929133857}, eval time: 12.641420125961304
[2024-02-01 01:49:37] mindocr.utils.callbacks INFO - => Best f-score: 0.7464566929133857, checkpoint saved.
[2024-02-01 01:50:02] mindocr.utils.callbacks INFO - epoch: [7/1200], loss: 2.739786, epoch time: 24.156 s, per step time: 389.615 ms, fps per card: 51.33 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:12<00:00, 24.54it/s]
[2024-02-01 01:50:14] mindocr.utils.callbacks INFO - Performance: {'recall': 0.6297968397291196, 'precision': 0.908203125, 'f-score': 0.743801652892562}, eval time: 12.314828634262085
[2024-02-01 01:50:38] mindocr.utils.callbacks INFO - epoch: [8/1200], loss: 2.367562, epoch time: 23.545 s, per step time: 379.756 ms, fps per card: 52.67 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:13<00:00, 22.80it/s]
[2024-02-01 01:50:51] mindocr.utils.callbacks INFO - Performance: {'recall': 0.5688487584650113, 'precision': 0.9217264081931237, 'f-score': 0.7035175879396984}, eval time: 13.259095668792725
[2024-02-01 01:51:16] mindocr.utils.callbacks INFO - epoch: [9/1200], loss: 2.317336, epoch time: 24.136 s, per step time: 389.283 ms, fps per card: 51.38 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:14<00:00, 20.05it/s]
[2024-02-01 01:51:31] mindocr.utils.callbacks INFO - Performance: {'recall': 0.6781038374717833, 'precision': 0.8637147786083956, 'f-score': 0.7597369752149721}, eval time: 15.05770754814148
[2024-02-01 01:51:31] mindocr.utils.callbacks INFO - => Best f-score: 0.7597369752149721, checkpoint saved.
[2024-02-01 01:51:55] mindocr.utils.callbacks INFO - epoch: [10/1200], loss: 2.895481, epoch time: 23.572 s, per step time: 380.187 ms, fps per card: 52.61 img/s
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 300/300 [00:11<00:00, 25.77it/s]
[2024-02-01 01:52:07] mindocr.utils.callbacks INFO - Performance: {'recall': 0.636117381489842, 'precision': 0.9066924066924067, 'f-score': 0.7476784292915892}, eval time: 11.734557867050171
由于未能复现您所提问题,本Issue暂时关闭。 请您尝试安装MindOCR所适配的MindSpore版本。 如有进一步的问题,请与我们联系。
如题,使用 v0.3.1 的 MindOCR,使用 totaltext 训练 r18 的 DBNet,会在 1~2 个 epoch 的时候报错:
所用环境如下:
是否有解决方案?谢谢!