TMElyralab / MuseTalk

MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting
Other
2.61k stars 317 forks source link

训练9.4W步纹理效果还能改进吗? #184

Closed qiuzi closed 1 week ago

qiuzi commented 1 month ago

使用单卡4090,train_batch_size=1 ,数据集超分到1024分辨率进行少量数据测试,RESIZED_IMG = 512

image

唇部与面部纹理一直模糊状态 val_epoch_94000_0_image

后续训练还有改进意义吗?

czk32611 commented 1 month ago

train_batch_size=1, gradient accumulate多少呢?

qiuzi commented 1 month ago

train_batch_size=1, gradient accumulate多少呢?

默认的 16

qiuzi commented 1 month ago

您是直接使用的开源train_code分支进行的训练嘛?还是自己根据开源代码进行修改后训练的?

修改了分辨率训练的,原本256采样我换成512

miumiuc commented 1 month ago

你是就在这一个人的数据上微调吗,还是很多不同人的数据上,看这个牙齿也挺清楚的,没有出现粘连的情况

qiuzi commented 1 month ago

你是就在这一个人的数据上微调吗,还是很多不同人的数据上,看这个牙齿也挺清楚的,没有出现粘连的情况 个人数据而已 没做范

thbupt commented 1 month ago

单人微调的口型效果咋样

qiuzi commented 1 month ago

单人微调的口型效果咋样

没啥优化,和原模型一样

langzizhixin commented 1 month ago

数据集进行超分肯定达不到好的训练效果啊,需要自己购买,或者拍摄商用高清数据集。

qiuzi commented 1 month ago

数据集进行超分肯定达不到好的训练效果啊,需要自己购买,或者拍摄商用高清数据集。

权重没有开放训练,换数据集也没用

miumiuc commented 1 month ago

数据集进行超分肯定达不到好的训练效果啊,需要自己购买,或者拍摄商用高清数据集。

权重没有开放训练,换数据集也没用 权重没有开放训练,是什么意思?

qiuzi commented 1 month ago

数据集进行超分肯定达不到好的训练效果啊,需要自己购买,或者拍摄商用高清数据集。

权重没有开放训练,换数据集也没用 权重没有开放训练,是什么意思? 是我理解错了 不好意思

qiuzi commented 1 month ago

大概是vae的缘故,没法像gan那么细节清晰,训练集与算力要求太高,训练难度确实大

数据集进行超分肯定达不到好的训练效果啊,需要自己购买,或者拍摄商用高清数据集。

权重没有开放训练,换数据集也没用 权重没有开放训练,是什么意思?

miumiuc commented 1 month ago

大概是vae的缘故,没法像gan那么细节清晰,训练集与算力要求太高,训练难度确实大

数据集进行超分肯定达不到好的训练效果啊,需要自己购买,或者拍摄商用高清数据集。

权重没有开放训练,换数据集也没用 权重没有开放训练,是什么意思?

模型训练的是unet,训练unet也没用吗

qiuzi commented 1 month ago

大概是vae的缘故,没法像gan那么细节清晰,训练集与算力要求太高,训练难度确实大

数据集进行超分肯定达不到好的训练效果啊,需要自己购买,或者拍摄商用高清数据集。

权重没有开放训练,换数据集也没用 权重没有开放训练,是什么意思?

模型训练的是unet,训练unet也没用吗

有用,但效果跟预期不理想,30W步还是看不到牙齿纹理,dhlive 训练用gan 效果更好些

langzizhixin commented 4 weeks ago

啥也不说了,直接上图。 95faab6d7e5571ae651d342336089af

qiuzi commented 4 weeks ago

啥也不说了,直接上图。 95faab6d7e5571ae651d342336089af

多少步? 嘴唇纹理不够还原