search

tanshuai0219 / EDTalk

[ECCV 2024 Oral] EDTalk - Official PyTorch Implementation
Apache License 2.0
315 stars 27 forks source link

果冻效应 #2

Closed liuyingbin123 closed 2 months ago

liuyingbin123 commented 5 months ago

很棒的工作，但是我从作者给的示例demo中发现，驱动后的人像存在比较明显的果冻效应，尤其是在激活情绪模块后。不知道是否和Flow-Based Probabilistic Pose Generation这部分有关，也许这部分的预测有着比较大的抖动

tanshuai0219 commented 5 months ago

感谢您的关注～不过还想请问下“果冻效应”具体指什么呢，我会尽量对原因进行分析～

xinxiaozhe12345 commented 3 months ago

hi，很棒的工作，关注很久了，我也遇到了一楼朋友一样的问题，感觉像是果冻效应，我尝试分享下我跑出来的结果，方便你分析下什么原因，是否有优化方法。

https://github.com/tanshuai0219/EDTalk/assets/10916523/dc3929f3-12b6-4ab3-8e70-e54b54fbc25a

@tanshuai0219

xinxiaozhe12345 commented 3 months ago

以下是我infer用的参数 python demo_EDTalk_A_using_predefined_exp_weights.py --source_path test.jpg --audio_driving_path test_data/mouth_source.wav --pose_driving_path test_data/pose_source1.mp4 --exp_type happy --save_path ./res/output.mp4

tanshuai0219 commented 3 months ago

hi，很棒的工作，关注很久了，我也遇到了一楼朋友一样的问题，感觉像是果冻效应，我尝试分享下我跑出来的结果，方便你分析下什么原因，是否有优化方法。

output.mp4 @tanshuai0219

可以分享下数据吗～