search

PaddlePaddle / PaddleGAN

PaddlePaddle GAN library, including lots of interesting applications like First-Order motion transfer, Wav2Lip, picture repair, image editing, photo2cartoon, image style transfer, GPEN, and so on.
Apache License 2.0
7.82k stars 1.24k forks source link

wav2lip训练无论多卡还是单卡，都会hang住 #776

Open 1059692261 opened 1 year ago

1059692261 commented 1 year ago

操作系统：centos paddle：2.4.2.post116 GPU：NVIDIA RTX A6000 image 之前用torch时遇到过类似的问题，那时候发现就是这块gpu对torch的版本有要求，太旧的torch的在这张卡上跑不了训练。原版wav2lip用的torch太老了，所以选择来用paddlegan。不知道paddle版的wav2lip是不是也存在这个问题？大佬们能不能帮看一下，感谢。

LielinJiang commented 1 year ago

可以control+c，kill程序，看一下hang在什么地方了

1059692261 commented 1 year ago

control+c kill不掉，没有任何反馈，只能用kill指令杀死进程。目前调试了一下发现卡在dataloader取数的地方，可能是数据准备的有问题？

LielinJiang commented 1 year ago

可以单独跑一下dataset（不是dataloader）看看有没有编译，for循环遍历一遍

LokeZhou commented 5 months ago

这个可能需要具体定位一下哪里hang住了