infer效果不理想，果冻效应

[xinxiaozhe12345]

@tanshuai0219 Hi，很棒的工作成功，关注很久了，感谢作者 我也遇到了前述issue里提到的果冻效应， #2 分享下我的效果方便你分析，看看是不是我哪里没有做正确，或者有什么优化方案

https://github.com/tanshuai0219/EDTalk/assets/10916523/f8a6e404-13b5-4493-8503-b61b38968001

以下是我的infer代码 python demo_EDTalk_A_using_predefined_exp_weights.py --source_path test.jpg --audio_driving_path test_data/mouth_source.wav --pose_driving_path test_data/pose_source1.mp4 --exp_type happy --save_path ./res/output.mp4

[QUTGXX]

可能和人脸裁剪区域相关，可以用作者的裁剪代码再试下

[tanshuai0219]

可能和人脸裁剪区域相关，可以用作者的裁剪代码再试下

感谢回复，EDTalk对人脸的裁剪要求比较严格

[xinxiaozhe12345]

@tanshuai0219 @QUTGXX 感谢回复，我是在作者提供的crop_image.py处理后的图片上做的infer，效果如上视频是不理想的。提供下crop处理后的图片如下，可以方便查下原因：

[tanshuai0219]

@tanshuai0219 @QUTGXX 感谢回复，我是在作者提供的crop_image.py处理后的图片上做的infer，效果如上视频是不理想的。提供下crop处理后的图片如下，可以方便查下原因：

https://github.com/tanshuai0219/EDTalk/assets/45692447/5a0663e9-63c9-45b8-bef4-6d239378ce5e

你好，我对你提供的图片用crop_image2.py 代码重新crop了下，果冻效应有所缓解。我后面修改下readme的相应部分，感谢反馈和对EDTalk的关注~

[tanshuai0219]

@tanshuai0219 @QUTGXX 感谢回复，我是在作者提供的crop_image.py处理后的图片上做的infer，效果如上视频是不理想的。提供下crop处理后的图片如下，可以方便查下原因：

用crop_image.py裁剪人脸的时候，increase_ratio需要多尝试几个值，如果裁剪出来的人脸和pose/exp driving path 对齐的越好，果冻效应就越能得到缓解。

[xinxiaozhe12345]

明白，那就是说后续每个新的id，或者替换了driven源都要反复尝试ratio值去跟原始对齐，感觉普适性还是不够高。话说针对我这个图片，您采用多大的ratio能完全解决果冻效应的问题呢

[tanshuai0219]

明白，那就是说后续每个新的id，或者替换了driven源都要反复尝试ratio值去跟原始对齐，感觉普适性还是不够高。话说针对我这个图片，您采用多大的ratio能完全解决果冻效应的问题呢

这个还得需要尝试下，比如人脸占画面太小了，那就适当降低increase_ratio， 我刚试了下 设置为0.5，也会有缓解。anyway，我后面再尝试优化下crop的代码

[tanshuai0219]

明白，那就是说后续每个新的id，或者替换了driven源都要反复尝试ratio值去跟原始对齐，感觉普适性还是不够高。话说针对我这个图片，您采用多大的ratio能完全解决果冻效应的问题呢

暂时还麻烦你先用下crop_image2.py，这个还是比较稳定能crop好的