TMElyralab / MuseTalk

MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting
Other
2.94k stars 365 forks source link

你好,人脸处理完之后,很多细节丢失了,有没有参数或者方法保留细节 #130

Open raymondren1982 opened 5 months ago

raymondren1982 commented 5 months ago

处理前人脸: 00000000 处理后人脸: 00000000

raymondren1982 commented 5 months ago

人脸被平均化了,有点卡通了

raymondren1982 commented 5 months ago

是不是在这里下采样时丢失的: crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond

不下采样,怎么做,必须下采样吗?

aidenyzhang commented 5 months ago

目前的模型确实会把人脸平滑掉,目前没有参数可以调节这个。

aidenyzhang commented 5 months ago

是不是在这里下采样时丢失的: crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond

不下采样,怎么做,必须下采样吗?

这里是因为模型的输入必须是一个固定的size,在目前开源的模型中是256X256。

raymondren1982 commented 5 months ago

是不是在这里下采样时丢失的: crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond 不下采样,怎么做,必须下采样吗?

这里是因为模型的输入必须是一个固定的size,在目前开源的模型中是256X256。

谢谢,大佬回复,我尝试了各种图像增强方法,没有办法恢复丢失的信息,是否可以使用一种下采样保留图像细节的算法,有什么建议?

DestoryVIP commented 5 months ago

是不是在这里下采样时丢失的: crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond 不下采样,怎么做,必须下采样吗?

这里是因为模型的输入必须是一个固定的size,在目前开源的模型中是256X256。

谢谢,大佬回复,我尝试了各种图像增强方法,没有办法恢复丢失的信息,是否可以使用一种下采样保留图像细节的算法,有什么建议?

可以对某个人的人脸进行fintune,这样可以进行最大程度的保留相关信息

yaleimeng commented 5 months ago

相当于自动进行了美颜:)

aidenyzhang commented 4 months ago

是不是在这里下采样时丢失的: crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond 不下采样,怎么做,必须下采样吗?

这里是因为模型的输入必须是一个固定的size,在目前开源的模型中是256X256。

谢谢,大佬回复,我尝试了各种图像增强方法,没有办法恢复丢失的信息,是否可以使用一种下采样保留图像细节的算法,有什么建议?

人脸处理过程中丢失细节特征,如胡子等问题,这确实是目前通用口型生成模型的一个普遍现象。造成这一问题的原因是模型在生成过程会针对训练集中的数据拟合出一个平滑的中间状态,对于细节特征的捕捉+保持能力有限。

您可以考虑选择使用定制化的口型生成模型,来追求更好的细节保持。

zhangziliang04 commented 3 months ago

是不是在这里下采样时丢失的: crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond 不下采样,怎么做,必须下采样吗?

这里是因为模型的输入必须是一个固定的size,在目前开源的模型中是256X256。

谢谢,大佬回复,我尝试了各种图像增强方法,没有办法恢复丢失的信息,是否可以使用一种下采样保留图像细节的算法,有什么建议?

人脸处理过程中丢失细节特征,如胡子等问题,这确实是目前通用口型生成模型的一个普遍现象。造成这一问题的原因是模型在生成过程会针对训练集中的数据拟合出一个平滑的中间状态,对于细节特征的捕捉+保持能力有限。

您可以考虑选择使用定制化的口型生成模型,来追求更好的细节保持。

定制化的口型生成模型是指:“单人单模的训练方式吗?比如ER-NERF”?

Embracex1998 commented 3 months ago

是不是在这里下采样时丢失的: crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond 不下采样,怎么做,必须下采样吗?

这里是因为模型的输入必须是一个固定的size,在目前开源的模型中是256X256。

谢谢,大佬回复,我尝试了各种图像增强方法,没有办法恢复丢失的信息,是否可以使用一种下采样保留图像细节的算法,有什么建议?

人脸处理过程中丢失细节特征,如胡子等问题,这确实是目前通用口型生成模型的一个普遍现象。造成这一问题的原因是模型在生成过程会针对训练集中的数据拟合出一个平滑的中间状态,对于细节特征的捕捉+保持能力有限。 您可以考虑选择使用定制化的口型生成模型,来追求更好的细节保持。

定制化的口型生成模型是指:“单人单模的训练方式吗?比如ER-NERF”?

nerf分辨率更低

kkkwjr commented 2 weeks ago

是不是在这里下采样时丢失的: crop_frame = cv2.resize(crop_frame,(256,256),interpolation = cv2.INTER_LANCZOS4) #raymond 不下采样,怎么做,必须下采样吗?

这里是因为模型的输入必须是一个固定的size,在目前开源的模型中是256X256。

谢谢,大佬回复,我尝试了各种图像增强方法,没有办法恢复丢失的信息,是否可以使用一种下采样保留图像细节的算法,有什么建议?

人脸处理过程中丢失细节特征,如胡子等问题,这确实是目前通用口型生成模型的一个普遍现象。造成这一问题的原因是模型在生成过程会针对训练集中的数据拟合出一个平滑的中间状态,对于细节特征的捕捉+保持能力有限。

您可以考虑选择使用定制化的口型生成模型,来追求更好的细节保持。

同问定制化定制化的口型生成模型是啥意思呢