search

Fictionarry / ER-NeRF

[ICCV'23] Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis
https://fictionarry.github.io/ER-NeRF/
MIT License
1.02k stars 133 forks source link

剛訓練出來的視頻，希望大家一起在評論區討論一下如何減少模型抖動的方法。 #110

Open KevinSun-GitHub opened 9 months ago

KevinSun-GitHub commented 9 months ago

https://github.com/Fictionarry/ER-NeRF/assets/102392705/f286368a-8be2-4485-9015-8953da89f961

KevinSun-GitHub commented 9 months ago

作者在評論區提到了幾中方法： 1.可能是face tracking的误差或未训练好造成的影响，可以试试推理时添加--smooth_path做平滑 tracking比较难处理，从实验来看当前使用的bfm模型在处理亚洲人面孔时很容易出现较大的误差 目前nerf一类的方法基本上都处理不好长发的目标人像，即使收敛了头发部分的表现也很差，这是当前方法的局限性 2.是音頻特徵提取的問題。 3.模仿dfrf 的方法 只分離出頭部。

DestoryVIP commented 9 months ago

可以看见还是会有轻微晃动的

DestoryVIP commented 9 months ago

我试了一下smooth_path 以及对landmark做平滑处理，效果有所改进但是不佳

ZXisSpider commented 8 months ago

这个得改face-tracking用的landmark来源，face_alignment出的landmark没有利用帧间信息所以会抖，用openface出的landmark做监督头部会比较稳定

I8Robot commented 2 months ago

这个得改face-tracking用的landmark来源，face_alignment出的landmark没有利用帧间信息所以会抖，用openface出的landmark做监督头部会比较稳定

就是直接用openface的landmark替换face-tracking的landmark?

ZXisSpider commented 2 months ago

这是来自QQ邮箱的假期自动回复邮件。   您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。

xiaoqidaov2 commented 1 month ago

这个得改face-tracking用的landmark来源，face_alignment出的landmark没有利用帧间信息所以会抖，用openface出的landmark做监督头部会比较稳定

就是直接用openface的landmark替换face-tracking的landmark?

我正在尝试，在作者的另一个项目 talkingGaussian 中做了两个方法分别是 1.直接使用openface的landmark 2.使用openface landmark 对 face_alignment 做监督 我在比对这两种方法的效果 效果如下

直接使用openface的landmark

https://github.com/user-attachments/assets/22463ba8-4cf3-44aa-8479-15c6b866e81c

使用openface landmark 对 face_alignment 做监督

https://github.com/user-attachments/assets/9a3b641f-bd2a-4829-a0f7-574ef7631463

原方案

https://github.com/user-attachments/assets/a841691d-8db4-4aaf-af07-0d97357d7ef4

ZXisSpider commented 1 month ago

这是来自QQ邮箱的假期自动回复邮件。   您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。