zhanglonghao1992 / One-Shot_Free-View_Neural_Talking_Head_Synthesis

Pytorch implementation of paper "One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing"
Other
782 stars 143 forks source link

请问模型是用voxCeleb2训练出来的吗? #39

Open Liangtian96 opened 2 years ago

Liangtian96 commented 2 years ago

大佬您好!请问一下放出的模型是和原文一样是用voxCeleb2训练出来的吗?我看了一下那个数据集似乎有两三百G(视频数据有八九个卷,每个卷30G)。如果是用的这个数据集请问是用的什么硬件配置,一次训练用了多长时间呢?

sky24h commented 2 years ago

我不是作者, 但是你仔细看一下 Pretrained Model: 不行吗🧐.

zhanglonghao1992 commented 2 years ago

@Liangtian96 同意楼上的盆友,请仔细阅读readme。 另:voxceleb2 original video有好几T,你说的几百G的是crop后的了。 另:要学会先点赞再问问题哦 :)

Liangtian96 commented 2 years ago

@Sky24H 您好!我看了readme,但是不太理解VoxCeleb-v1是什么意思,如果是VoxCeleb1数据集似乎只有音频数据没有视频数据,也没有搜索到VoxCeleb-v1这个数据集

Liangtian96 commented 2 years ago

@zhanglonghao1992 您好!我看了readme,但是不太理解VoxCeleb-v1是什么意思,如果是VoxCeleb1数据集似乎只有音频数据没有视频数据,也没有搜索到VoxCeleb-v1这个数据集,voxceleb1数据集下面有个数据集视频来源的URL,但是我想应该不是用这个下视频的吧?PS:已点星,感谢大佬分享[respect] 图片

zhanglonghao1992 commented 2 years ago

@Liangtian96 voxceleb1和2的下载和处理可以参考video-preprocessing

Liangtian96 commented 2 years ago

@zhanglonghao1992 大佬,我准备自己训练一下模型,不过训练太耗资源了,我准备把模型输入改成128*128的。但是在我改代码之前我想先把你的训练代码跑通,我遇到一个很奇怪的问题,当我输入训练指令python run.py --config config/vox-256-spade1.yaml --device_ids 0时,训练代码是可以跑通的且一直跑下去的,但是我调试的时候发现生成器gen用的是original,与vox-256-new的demo.py代码不同,但是当我在训练指令下加上--gen spade之后,训练一到两张图就会错报RuntimeError: CUDA out of memory。网上说可能是模型太大,GPU放不下。但是为什么没把gan换成spade就不会报错呢?我用自己的数据集训练的时候,该用original还是spade效果更好呢?

zbdehh commented 2 years ago

@Liangtian96 因为spade block占用显存更多导致out of memory,生成效果是spade更优,你可以减少spade block的数量,比如可以减少到3层。另外gpu资源不是很充足不建议训练这个模型,大佬开源的效果就已经够好了。

zhanglonghao1992 commented 2 years ago

@Liangtian96 因为spade block占用显存更多导致out of memory,生成效果是spade更优,你可以减少spade block的数量,比如可以减少到3层。另外gpu资源不是很充足不建议训练这个模型,大佬开源的效果就已经够好了。

我还没敲完字呢你就先帮我回复了。。。 看来你工作不饱和在摸鱼啊🤔

zbdehh commented 2 years ago

@zhanglonghao1992 哈哈 写年终述职ppt划水中

Liangtian96 commented 2 years ago

@begins233 原来如此,感谢解答。但是自己有个想尝试一下的想法,要在可以换脸的模型上进行改动,所以还是得自己训练一下~那我先把输入的训练图像分辨率调低,减少spade block到3层看看效果

Liangtian96 commented 2 years ago

@zhanglonghao1992 看到上面的回复了,感谢大佬解答!