search

Rudrabha / Wav2Lip

This repository contains the codes of "A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild", published at ACM Multimedia 2020. For HD commercial model, please try out Sync Labs
https://synclabs.so
10.18k stars 2.19k forks source link

大佬们，请问一下，为什么我按照官方教程步骤训练，我用的CMRL数据集，训练syncnet模型、训练wav2lip模型，最后生成的模型唇形一点都对不上 #638

Open annian101 opened 6 months ago

annian101 commented 6 months ago

大佬们，请问一下，为什么我按照官方教程步骤训练，我用的CMRL数据集，训练syncnet模型、训练wav2lip模型，最后生成的模型唇形一点都对不上

fuxuelinwudi commented 6 months ago

听说CMLR数据集，视频和音频对不上，得自己清洗一下，或者过滤一下

annian101 commented 6 months ago

听说CMLR数据集，视频和音频对不上，得自己清洗一下，或者过滤一下

我看质量还行呀,我下载的数据集是视频和音频分开的，我合并完之后，抽查了一些，质量还可以

annian101 commented 6 months ago

听说CMLR数据集，视频和音频对不上，得自己清洗一下，或者过滤一下

wav2lip对中文太不友好了，只能重新训练

fuxuelinwudi commented 6 months ago

听说CMLR数据集，视频和音频对不上，得自己清洗一下，或者过滤一下

wav2lip对中文太不友好了，只能重新训练

我加载了它给的英文训练好的 sync_lip 权重，然后在 CMLR 上训练，loss 降的很慢，6500 step 的 loss 才到 0.7 附近，现在拿来训练 wav2lip 试试看，效果不好的话，我就不加载预训练好的权重，直接从零在 CMLR 上训练 sycn_lip 和 wav2lip 模型。 后面有结果会在这里和你说

albyho commented 6 months ago

听说CMLR数据集，视频和音频对不上，得自己清洗一下，或者过滤一下

wav2lip对中文太不友好了，只能重新训练

我加载了它给的英文训练好的 sync_lip 权重，然后在 CMLR 上训练，loss 降的很慢，6500 step 的 loss 才到 0.7 附近，现在拿来训练 wav2lip 试试看，效果不好的话，我就不加载预训练好的权重，直接从零在 CMLR 上训练 sycn_lip 和 wav2lip 模型。 后面有结果会在这里和你说

请问在你的硬件条件下，CMLR训练大概要多久？

annian101 commented 6 months ago

听说CMLR数据集，视频和音频对不上，得自己清洗一下，或者过滤一下

wav2lip对中文太不友好了，只能重新训练

我加载了它给的英文训练好的 sync_lip 权重，然后在 CMLR 上训练，loss 降的很慢，6500 step 的 loss 才到 0.7 附近，现在拿来训练 wav2lip 试试看，效果不好的话，我就不加载预训练好的权重，直接从零在 CMLR 上训练 sycn_lip 和 wav2lip 模型。 后面有结果会在这里和你说

这个我试过了，就用官方给的在sync_lip模型然后通过CMLR训练集训练，出来的效果也不对等

hnsywangxin commented 5 months ago

听说CMLR数据集，视频和音频对不上，得自己清洗一下，或者过滤一下

wav2lip对中文太不友好了，只能重新训练

我加载了它给的英文训练好的 sync_lip 权重，然后在 CMLR 上训练，loss 降的很慢，6500 step 的 loss 才到 0.7 附近，现在拿来训练 wav2lip 试试看，效果不好的话，我就不加载预训练好的权重，直接从零在 CMLR 上训练 sycn_lip 和 wav2lip 模型。 后面有结果会在这里和你说

请问结果咋样了

keminze commented 5 months ago

你用了CMRL数据集的全部视频了吗，我认为从0开始训练该数据集应该会有提升

guo-king666 commented 5 months ago

听说CMLR数据集，视频和音频就上不上，得自己清洗一下，或者过滤一下

我看质量还行呀，我下载的数据集是视频和音频分开的，我合并完之后，抽查了一些，质量还可以

请问一下你是咋合并的

axengine commented 5 months ago

听说CMLR数据集，视频和音频就上不上，得自己清洗一下，或者过滤一下

我看质量还行呀，我下载的数据集是视频和音频分开的，我合并完之后，抽查了一些，质量还可以

请问一下你是咋合并的

可以不合并，修改数据集的代码。如果要合并，使用ffmpeg合并即可。

guo-king666 commented 5 months ago

听说CMLR数据集，视频和音频就上不上，得自己清理一下，或者过滤一下

我看质量还行呀，我下载的数据集是视频和音频分开的，我合并完之后，抽查了一些，质量还可以

问问你是咋合并的

可以不合并，修改数据集的代码。如果要合并，使用ffmpeg合并即可。

好的,解决了，谢谢！！！

guo-king666 commented 3 months ago

我从0开始训练的，最后出来的效果也不对等，请问你过滤数据集了吗

crw123 commented 3 months ago

请问训练的时候需要修改nepochs=200000000000000000么？这也太大了吧

guo-king666 commented 3 months ago

请问训练的时候需要修改nepochs=200000000000000000么？这也太大了吧

也可以不用改，手动停止

crw123 commented 3 months ago

请问训练的时候需要修改nepochs=200000000000000000么？这也太大了吧

也可以不用改，手动停止

感谢回复，已看到代码中有写每隔一定步数会保存权重