Closed nndx970 closed 1 year ago
我用管理员运行的
非常玄学,有时候训练几百步会卡,有时候刚开始就卡
训练的时候还得看守,非常头疼
Loading train data: 95%|███████████████████████████████████████████████████████████▏ | 21/22 [00:15<00:00, 2.09it/s]2023-07-09 15:08:33,160 - INFO - epoch 48 | g 12.7435 m 0.5045 s 9.8590 d 0.4306 k 0.2410 r 0.4886 i 0.1502 | step 1100 Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.32it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.32it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.30it/s] 2023-07-09 15:09:13,671 - INFO - Saved checkpoint to: chkpt\sovits5.0\sovits5.0_0050.pt Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:17<00:00, 1.27it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.30it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.50s/it] Loading train data: 50%|███████████████████████████████ | 11/22 [00:11<00:05, 1.88it/s]2023-07-09 15:10:08,201 - INFO - epoch 53 | g 14.1631 m 0.5374 s 10.5354 d 0.4116 k 0.2598 r 0.4927 i 0.2264 | step 1200 Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.31it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.31it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.31it/s] 2023-07-09 15:10:53,463 - INFO - Saved checkpoint to: chkpt\sovits5.0\sovits5.0_0055.pt Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.46s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.31it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:16<00:00, 1.30it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.44s/it] Loading train data: 5%|██▊ | 1/22 [00:06<02:08, 6.14s/it]2
Loading train data没有加载到100%也能继续进行?
显卡有点好呀,是用的哪款
一般般,3090ti
------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年7月9日(星期天) 晚上8:56 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [PlayVoice/so-vits-svc-5.0] 训练中途卡住、报错 (Issue #75)
显卡有点好呀,是用的哪款
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
报错:
Validation loop: 100%|█████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.18s/it] Loading train data: 0%| | 0/22 [00:00<?, ?it/s]Traceback (most recent call last): File "", line 1, in
File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\multiprocessing\spawn.py", line 116, in spawn_main
exitcode = _main(fd, parent_sentinel)
File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\multiprocessing\spawn.py", line 125, in _main
prepare(preparation_data)
File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\multiprocessing\spawn.py", line 236, in prepare
_fixup_main_from_path(data['init_main_from_path'])
File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\multiprocessing\spawn.py", line 287, in _fixup_main_from_path
main_content = runpy.run_path(main_path,
File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\runpy.py", line 289, in run_path
return _run_module_code(code, init_globals, run_name,
File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\runpy.py", line 96, in _run_module_code
_run_code(code, mod_globals, init_globals,
File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\runpy.py", line 86, in _run_code
exec(code, run_globals)
File "D:\dxl\aivoice\so-vits-svc-5.0\svc_trainer.py", line 4, in
import torch
File "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\site-packages\torch__init__.py", line 129, in
raise err
OSError: [WinError 1114] 动态链接库(DLL)初始化例程失败。 Error loading "C:\Users\DXL\AppData\Local\Programs\Python\Python310\lib\site-packages\torch\lib\shm.dll" or one of its dependencies.
卡住:
Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:15<00:00, 1.39it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.34s/it] Loading train data: 100%|██████████████████████████████████████████████████████████████| 22/22 [00:15<00:00, 1.42it/s] Validation loop: 100%|███████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.30s/it] Loading train data: 0%| | 0/22 [00:00<?, ?it/s]
训练不太稳定,每次loading train data都会花费时间较长,难道每次从硬盘里读取的吗?全部读入内存可以吗?