Rudrabha / Wav2Lip

This repository contains the codes of "A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild", published at ACM Multimedia 2020. For HD commercial model, please try out Sync Labs
https://synclabs.so
10.3k stars 2.21k forks source link

wav2lip训练去边框,中文数据集 #497

Open zdh6090 opened 1 year ago

zdh6090 commented 1 year ago

目前能够完美去边框,重新训练了一个中文的数据集,但是解决不了高清的问题(不想通过gfpgan的方式,太慢)请问有朋友解决的吗,付费学习一下。zdh6090@outlook.com,谢谢!

zdh6090 commented 1 year ago

微信zdh6090

cantops commented 1 year ago

目前能够完美去边框,重新训练了一个中文的数据集,但是解决不了高清的问题(不想通过gfpgan的方式,太慢)请问有朋友解决的吗,付费学习一下。zdh6090@outlook.com,谢谢!

尝试过wav2lip288项目吗

wav2lip288是啥?

lcc157 commented 1 year ago

@zdh6090 你好中文数据集用的LRW-1000还是其它?大约训练多久

FlyingCarp commented 1 year ago

目前能够完美去边框,重新训练了一个中文的数据集,但是解决不了高清的问题(不想通过gfpgan的方式,太慢)请问有朋友解决的吗,付费学习一下。zdh6090@outlook.com,谢谢!

请问在哪找的中文数据集呀

youngboyooo commented 1 year ago

@zdh6090 你好,我中文训练的时候,卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】咋办,求教求教

xiedongmingming commented 1 year ago

@zdh6090 你好,我中文训练的时候,卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】咋办,求教求教

你是自己制作的中文数据集吗?

youngboyooo commented 1 year ago

我用的央视的数据集

On Jul 7, 2023, at 00:24, 谢明 @.***> wrote:

@zdh6090 https://github.com/zdh6090 你好,我中文训练的时候,卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】咋办,求教求教

你是自己制作的中文数据集吗?

— Reply to this email directly, view it on GitHub https://github.com/Rudrabha/Wav2Lip/issues/497#issuecomment-1623966462, or unsubscribe https://github.com/notifications/unsubscribe-auth/AOO53A57CGQXDWWNZJX6ZULXO3RFTANCNFSM6AAAAAAYNCVDSE. You are receiving this because you commented.

youngboyooo commented 1 year ago

@zdh6090 你好,我中文训练的时候,卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】咋办,求教求教

你是自己制作的中文数据集吗?

我用的央视的数据集,然后 filelists 我也按照要求改了,不管是 color_syncnet_train.py还是 hq_wav2lip_train.py都是卡在 0it,呜呜呜

HaSaKiYasuooo commented 1 year ago

@zdh6090 你好,我中文训练的时候,卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】咋办,求教求教

你是自己制作的中文数据集吗?

我用的央视的数据集,然后 filelists 我也按照要求改了,不管是 color_syncnet_train.py还是 hq_wav2lip_train.py都是卡在 0it,呜呜呜 用的windows跑的?

youngboyooo commented 1 year ago

是linux,放了一天,自己跑起来了,我估计是磁盘没读取到

On Jul 24, 2023, at 15:16, HaSaKiYasuooo @.***> wrote:

用的windows跑的?

Xiaomarker commented 1 year ago

@youngboyooo 大佬求个数据集

mohican521 commented 1 year ago

目前能够完美去边框,重新训练了一个中文的数据集,但是解决不了高清的问题(不想通过gfpgan的方式,太慢)请问有朋友解决的吗,付费学习一下。zdh6090@outlook.com,谢谢!

兄台请教下,结果出现边框是由于什么原因导致的?

fjesikfjdskl commented 1 year ago

你好问下这个卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】问题解决了吗?

213191392 commented 1 year ago

你好问下这个卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】问题解决了吗?

models->conv2.py 第12行改成ReLU

fjesikfjdskl commented 1 year ago

你好问下这个卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】问题解决了吗?

models->conv2.py 第12行改成ReLU 感谢回复,已经解决啦

kike-0304 commented 1 year ago

@zdh6090 你好,我中文训练的时候,卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】咋办,求教求教

你是自己制作的中文数据集吗?

我用的央视的数据集,然后 filelists 我也按照要求改了,不管是 color_syncnet_train.py还是 hq_wav2lip_train.py都是卡在 0it,呜呜呜

能给个数据集链接吗

tailangjun commented 12 months ago

@zdh6090 你好,我中文训练的时候,卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】咋办,求教求教

你是自己制作的中文数据集吗?

我用的央视的数据集,然后 filelists 我也按照要求改了,不管是 color_syncnet_train.py还是 hq_wav2lip_train.py都是卡在 0it,呜呜呜

能给个数据集链接吗

楼主说的应该是 CMLR https://www.vipazoo.cn/CMLR.html

mohican521 commented 11 months ago

目前能够完美去边框,重新训练了一个中文的数据集,但是解决不了高清的问题(不想通过gfpgan的方式,太慢)请问有朋友解决的吗,付费学习一下。zdh6090@outlook.com,谢谢!

兄台请教下,结果出现边框是由于什么原因导致的?

从目前测试情况看,你的数据集的背景颜色要多样化才行。我之前的数据集都是基于新闻类的蓝色背景,所以训练出来的效果边框特别明显,都是蓝色底边框,后来加了些各种颜色的数据集,重新再训练,就好很多了。不过这个训练对数据集要求太高了,我感觉我的数据集质量问题很大。

tailangjun commented 11 months ago

目前能够完美去边框,重新训练了一个中文的数据集,但是解决不了高清的问题(不想通过gfpgan的方式,太慢)请问有朋友解决的吗,付费学习一下。zdh6090@outlook.com,谢谢!

兄台请教下,结果出现边框是由于什么原因导致的?

从目前测试情况看,你的数据集的背景颜色要多样化才行。我之前的数据集都是基于新闻类的蓝色背景,所以训练出来的效果边框特别明显,都是蓝色底边框,后来加了些各种颜色的数据集,重新再训练,就好很多了。不过这个训练对数据集要求太高了,我感觉我的数据集质量问题很大。

确实,Wav2Lip对数据集的要求很高,Wav2Lip288更是如此

jcxian commented 11 months ago

你好问下这个卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】问题解决了吗?

models->conv2.py 第12行改成ReLU

请问,改了这个还是会卡住,可能是什么问题呢?

tailangjun commented 11 months ago

你好问下这个卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】问题解决了吗?

models->conv2.py 第12行改成ReLU

请问,改了这个还是会卡住,可能是什么问题呢?

是不是环境没配好,我之前 python3.9 + cuda11.9也是卡在那里,后面降级到 python3.6 + cuda11.7才正常

jcxian commented 10 months ago

你好问下这个卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】问题解决了吗?

models->conv2.py 第12行改成ReLU

请问,改了这个还是会卡住,可能是什么问题呢?

是不是环境没配好,我之前 python3.9 + cuda11.9也是卡在那里,后面降级到 python3.6 + cuda11.7才正常

我通过pstack查看进程,发现是卡在了缺少动态库。但这个动态库是系统自带的。。所以搞不懂了,不知道咋解决了

(base) root@dataforge-10-128-8-60:~# pstack 7689

7689: python color_syncnet_train.py --data_root /data/gpt/github/primepake/wav2lip_288x288/cmlr_preprocessed/ --checkpoint_dir ./c... 'linux-vdso.so.1': opening object file: No such file or directory Could not open object file.

jcxian commented 8 months ago

已经收到您的邮件,谢谢!

ChengsongLu commented 8 months ago

请问如何去边框呢?

RuojiWang commented 7 months ago

@zdh6090 你好,我中文训练的时候,卡在 color_syncnet_train.py,一直是 0it【00:00,?it/s】咋办,求教求教

你是自己制作的中文数据集吗?

我用的央视的数据集,然后 filelists 我也按照要求改了,不管是 color_syncnet_train.py还是 hq_wav2lip_train.py都是卡在 0it,呜呜呜

能给个数据集链接吗

楼主说的应该是 CMLR https://www.vipazoo.cn/CMLR.html

请问这个cmlr下载了之后就可以直接用于wav2lip的训练吗?还是有一个预处理的过程呢?

guo-king666 commented 6 months ago

你好在color_syncnet_train.py中问下这个卡,一直是0it【00:00,?it/s】问题解决了吗?

models->conv2.py 第12行改成ReLU 感谢回复,已经解决啦

请问一下你是咋解决的啊

jcxian commented 6 months ago

已经收到您的邮件,谢谢!

fjesikfjdskl commented 6 months ago

你好在color_syncnet_train.py中问下这个卡,一直是0it【00:00,?it/s】问题解决了吗?

models->conv2.py 第12行改成ReLU 感谢回复,已经解决啦

请问一下你是咋解决的啊

filelist下数据集划分的路径问题

guo-king666 commented 6 months ago

你好在color_syncnet_train.py中问下这个卡,一直是0it【00:00,?it/s】问题解决了吗?

models->conv2.py 第12行改成ReLU 感谢回复,已经解决啦

请问一下你是咋解决的啊

filelist下数据集划分的路径问题

好的,改出来了,谢谢!

crw123 commented 6 months ago

目前能够完美去边框,重新训练了一个中文的数据集,但是解决不了高清的问题(不想通过gfpgan的方式,太慢)请问有朋友解决的吗,付费学习一下。zdh6090@outlook.com,谢谢!

请问大佬,去边框该如何做?

CCFQ commented 4 months ago

你好,请问test文件里面的mv和nf是什么意识呢?

jcxian commented 4 months ago

已经收到您的邮件,谢谢!

liuzhougithub commented 2 months ago

能分享一下数据集吗,万分感谢!!!

jcxian commented 2 months ago

已经收到您的邮件,谢谢!

chow-q commented 2 months ago

我有高清模型,地球号:showtim2007

sean139453 commented 2 weeks ago

showtim2007

地球号怎么加?求模型 v:H3_L2_S

jcxian commented 2 weeks ago

已经收到您的邮件,谢谢!