作者好！我这边发现对于动漫类型的数据，很难保证生成的视频内容和输入图保持较高的一致性。我的实验内容如下： - Githubissues

open-mmlab / PIA

[CVPR 2024] PIA, your Personalized Image Animator. Animate your images by text prompt, combing with Dreambooth, achieving stunning videos. PIA，你的个性化图像动画生成器，利用文本提示将图像变为奇妙的动画

https://pi-animator.github.io/

Apache License 2.0

875 stars 68 forks source link

作者好！我这边发现对于动漫类型的数据，很难保证生成的视频内容和输入图保持较高的一致性。我的实验内容如下： #51

Closed Amo5 closed 1 month ago

Amo5 commented 1 month ago

首先我的实验模型基模型ckpt包含：作者提供的ckpt、我自己训练的ckpt、额外加上不同的dreambooth_lora。 需注意：我测试过程中，均加上了IP-adapter来提高生成视频与输入图的一致性；我自己重新训练的模型，在训练过程中也加上了IP-adapter，同时我的数据集里面增加了部分动漫视频数据。我的输入图： 2_1 (1) 1：作者ckpt+ip-adapter 1_sim_-1

2：我训的ckpt+ip-adapter 1_sim_-1

3：作者ckpt+ip-adapter+realisticVisionV51_v51VAE 1_sim_-1

4:我训的ckpt+ip-adapter+realisticVisionV51_v51VAE 1_sim_-1

5：作者ckpt+ip-adapter+rcnzCartoon3d_v10 1_sim_-1

6：我训的ckpt+ip-adapter+rcnzCartoon3d_v10 1_sim_-1

另外测试了作者ckpt和我的ckpt对偏写实图像的效果，感觉效果都不错，（说明我的代码上没啥问题？？） 输入图： a huge hamburger rotating (1)

作者ckpt+ip-adapter+realisticVisionV51_v51VAE 1_sim_-1

我训练的ckpt+ip-adapter+realisticVisionV51_v51VAE 1_sim_-1

期待作者的回复☺