search

tanshuai0219 / EDTalk

[ECCV 2024 Oral] EDTalk - Official PyTorch Implementation
Apache License 2.0
345 stars 31 forks source link

请问能只生成带情感的，头部姿态不动吗？ #36

Closed sunnymoon155 closed 1 month ago

sunnymoon155 commented 1 month ago

感谢回答，如果可以的话用哪个代码呢？

tanshuai0219 commented 1 month ago

可以修改下 python demo_EDTalk_A_using_predefined_exp_weights.py --source_path res/results_by_facesr/demo_EDTalk_A.png --audio_driving_path test_data/mouth_source.wav --pose_driving_path test_data/pose_source1.mp4 --exp_type angry --save_path res/demo_EDTalk_A_using_weights.mp4 这个代码，把pose_driving_path 给一个固定的pose

sunnymoon155 commented 1 month ago

可以修改下 python demo_EDTalk_A_using_predefined_exp_weights.py --source_path res/results_by_facesr/demo_EDTalk_A.png --audio_driving_path test_data/mouth_source.wav --pose_driving_path test_data/pose_source1.mp4 --exp_type angry --save_path res/demo_EDTalk_A_using_weights.mp4 这个代码，把pose_driving_path 给一个固定的pose

感谢大佬回复，我试用了一下发现lip_video+lip_audio的驱动方式要比纯audio驱动的效果好很多，这个是正常的结果吗？如果单纯用audio驱动的话还有优化空间吗？

tanshuai0219 commented 1 month ago

可以修改下 python demo_EDTalk_A_using_predefined_exp_weights.py --source_path res/results_by_facesr/demo_EDTalk_A.png --audio_driving_path test_data/mouth_source.wav --pose_driving_path test_data/pose_source1.mp4 --exp_type angry --save_path res/demo_EDTalk_A_using_weights.mp4 这个代码，把pose_driving_path 给一个固定的pose

感谢大佬回复，我试用了一下发现lip_video+lip_audio的驱动方式要比纯audio驱动的效果好很多，这个是正常的结果吗？如果单纯用audio驱动的话还有优化空间吗？

video driven 的结果更好 这应该还是蛮正常的，video 提供的信息更多