search

yoyo-nb / Thin-Plate-Spline-Motion-Model

[CVPR 2022] Thin-Plate Spline Motion Model for Image Animation.
MIT License
3.39k stars 555 forks source link

关于hugface和replicated的demo产出不同质量的输出视频（fixed） #44

Closed mingweihehehe closed 1 year ago

mingweihehehe commented 1 year ago

您好！ 因为不知道如何私信您 冒昧这里留言 还请包涵：

疑问：我在用同样的图片和视频（模板视频）去跑您们model demo，在hugface上得到非常糟糕的结果，比如模糊的人脸：https://huggingface.co/spaces/CVPR/Image-Animation-using-Thin-Plate-Spline-Motion-Model

但是在您们搭建的replicated demo却有非常好的输出（replicated：https://replicate.com/yoyo-nb/thin-plate-spline-motion-model/versions/382ceb8a9439737020bad407dec813e150388873760ad4a5a83a2ad01b039977） 是否您们在replicated做了一些参数微调？用了不同的数据集？或者我的操作有问题？ 因为我只是AI爱好者，没有程序开发背景，所以可能描述不准确，不知能否让您明白我的问题，期待您的答复，我的邮箱：mingwei@77pop.cc 祈 安

附对比视频链接： colab和hugface： https://drive.google.com/file/d/1zD5miR4985AhIQ_LovZ-7PbGRq3VrQGc/view?usp=share_link https://cdn.discordapp.com/attachments/1045752990079914016/1048012069494075442/colab.mp4

replicated： https://drive.google.com/file/d/1CphSJpPIb6XETd3hPyMQYgjyhD1hTPx1/view?usp=share_link https://cdn.discordapp.com/attachments/1045752990079914016/1048012069229838397/REPLICATED.mp4

mingweihehehe commented 1 year ago

原因这几天测试找到了，图片的人脸部分需要和driving视频中的人脸所占比例和位置高度相似才能得到最佳输出。 不是样本、参数或者数据集的问题。