训练中途卡住、报错

[nndx970]

报错：

Validation loop: 100%|█████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.18s/it] Loading train data: 0%| | 0/22 [00:00<?, ?it/s]Traceback (most recent call last): File "", line 1, in File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\multiprocessing\spawn.py", line 116, in spawn_main exitcode = _main(fd, parent_sentinel) File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\multiprocessing\spawn.py", line 125, in _main prepare(preparation_data) File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\multiprocessing\spawn.py", line 236, in prepare _fixup_main_from_path(data['init_main_from_path']) File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\multiprocessing\spawn.py", line 287, in _fixup_main_from_path main_content = runpy.run_path(main_path, File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\runpy.py", line 289, in run_path return _run_module_code(code, init_globals, run_name, File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\runpy.py", line 96, in _run_module_code _run_code(code, mod_globals, init_globals, File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\runpy.py", line 86, in _run_code exec(code, run_globals) File "D:\dxl\aivoice\so-vits-svc-5.0\svc_trainer.py", line 4, in import torch File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\site-packages\torch__init__.py", line 129, in raise err OSError: [WinError 1114] 动态链接库(DLL)初始化例程失败。 Error loading "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\site-packages\torch\lib\shm.dll" or one of its dependencies.

卡住：

Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:15<00:00, 1.39it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.34s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:15<00:00, 1.42it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.30s/it] Loading train data: 0%| | 0/22 [00:00<?, ?it/s]

训练不太稳定，每次loading train data都会花费时间较长，难道每次从硬盘里读取的吗？全部读入内存可以吗？

[nndx970]

我用管理员运行的

[nndx970]

非常玄学，有时候训练几百步会卡，有时候刚开始就卡

[nndx970]

训练的时候还得看守，非常头疼

[nndx970]

Loading train data: 95%|███████████████████████████████████████████████████████████▏ | 21/22 [00:15<00:00, 2.09it/s]2023-07-09 15:08:33,160 - INFO - epoch 48 | g 12.7435 m 0.5045 s 9.8590 d 0.4306 k 0.2410 r 0.4886 i 0.1502 | step 1100 Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.32it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.32it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.30it/s] 2023-07-09 15:09:13,671 - INFO - Saved checkpoint to: chkpt\sovits5.0\sovits5.0_0050.pt Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:17<00:00, 1.27it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.30it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.50s/it] Loading train data: 50%|███████████████████████████████ | 11/22 [00:11<00:05, 1.88it/s]2023-07-09 15:10:08,201 - INFO - epoch 53 | g 14.1631 m 0.5374 s 10.5354 d 0.4116 k 0.2598 r 0.4927 i 0.2264 | step 1200 Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.31it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.31it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.31it/s] 2023-07-09 15:10:53,463 - INFO - Saved checkpoint to: chkpt\sovits5.0\sovits5.0_0055.pt Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.46s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.31it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.30it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.44s/it] Loading train data: 5%|██▊ | 1/22 [00:06<02:08, 6.14s/it]2

[nndx970]

Loading train data没有加载到100%也能继续进行？

[zzpop]

显卡有点好呀，是用的哪款

[nndx970]

一般般，3090ti

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年7月9日(星期天) 晚上8:56 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [PlayVoice/so-vits-svc-5.0] 训练中途卡住、报错 (Issue #75)

显卡有点好呀，是用的哪款

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>