search

mayuelala / FollowYourEmoji

[Siggraph Asia 2024] Follow-Your-Emoji: This repo is the official implementation of "Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation"
327 stars 25 forks source link

您好，生成质量和您展示的有些区别 #18

Open FucK5t4r opened 3 months ago

FucK5t4r commented 3 months ago

为什么利用您原始推理代码的参数，生成的视频帧与帧之间经常会出现闪动，主要体现在脸型的突然变化，是推理代码的问题还是参数设置的问题，抑或是模型本身就存在这种现象？

mayuelala commented 3 months ago

您好，可以具体展示下结果吗

FucK5t4r commented 3 months ago

https://github.com/user-attachments/assets/d0946a08-d549-494d-b849-027ad19e2264

FucK5t4r commented 3 months ago

https://github.com/user-attachments/assets/4ef0291e-ab99-4ad4-b249-3dab37286c02

FucK5t4r commented 3 months ago

在echomimic这篇论文中与您比较相似的提到了用landmark encoder来指导模型生成与drive motion一致的动作，它也有出现抖动很严重的现象，我不知道是我的例子选择的问题，还是其他情况

FucK5t4r commented 3 months ago

我似乎找到了原因，在您放出的代码中 context_queue = list( context_scheduler( 0, num_inference_steps, latents.shape[2], context_frames, context_stride, 0, ) ) context_overlap设置的一直为0，因此导致帧过渡不平滑

FucK5t4r commented 3 months ago

这是修改后的效果

https://github.com/user-attachments/assets/47cee646-2f96-4be9-9c43-55d781d9c36a

mayuelala commented 3 months ago

输入图像的清晰度是多少呀？是512x512 吗

FucK5t4r commented 3 months ago

马斯克的这个应该是530*530的，另外可否了解一下您在训练的时候overlap设置的是多少呢

mayuelala commented 3 months ago

设置的16~

j18655633156 commented 3 months ago

我也出现了帧间抖动现象，请问您是只怎么修改的，修改了infer.yaml里面的video_length以及上面所提到的那段代码的context_overlap吗

FucK5t4r commented 3 months ago

是的，在上下文设置中加入contextoverlap即可减少抖动的现象

j18655633156 commented 3 months ago

请问你把那个overlap从0改成了多少呀，而且不同长度的视频是不是要使用不同的overlap，感觉这个抖动效果只能稍微改进但不能消除

---原始邮件--- 发件人: @.> 发送时间: 2024年8月27日(周二) 下午2:38 收件人: @.>; 抄送: @.**@.>; 主题: Re: [mayuelala/FollowYourEmoji] 您好，生成质量和您展示的有些区别 (Issue #18)

是的，在上下文设置中加入contextoverlap即可减少抖动的现象

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

zhou186 commented 2 months ago

您好，我将context_overlap设置为16，抖动还是很严重。请问还有什么改进的方法嘛

https://github.com/user-attachments/assets/0755bb21-f4af-41be-9a51-2e963a55a9b4

设置的16~

wonderDiWu commented 1 month ago

Hello. 遇到同样的闪动的问题。Overlap参数有改善，但是还是会有。当前有什么解决方案吗？