Open lmpeng12 opened 2 months ago
SDXL 的生态远没有 SD 完善,对应的 AnimateDiff 模块效果很差,所以我们暂时没有基于 SDXL 的动漫风格视频渲染方案,建议您使用 SD。
SDXL 的生态远没有 SD 完善,对应的 AnimateDiff 模块效果很差,所以我们暂时没有基于 SDXL 的动漫风格视频渲染方案,建议您使用 SD。
好的,我这边尝试混合ip-adapter,还有animatediff的xl版本,权重设为0.2,还是画面很脏,而且尝试了HotShot-XL,加载hsxl_tenporal_layers.f16.safetensors,也会变成全是噪声图。https://github.com/hotshotco/Hotshot-XL-Automatic1111
你好,我将模型替换为sdxl的sdxl_video.py,也拷贝使用了您的最新代码,尝试得到的结果,比sd1.5的差很多。发觉生图的每一帧,和原始图像差异很大,这里边使用有什么要特别注意下吗,我将代码的推理流程参照您的sd1.5的写了一次。能否简单降解下。 没有编写lets_dance_xl_with_long_video 的结果 https://github.com/user-attachments/assets/12e1a7b4-fe46-4f55-aafb-780c1433f2d9
编写了lets_dance_xl_with_long_video,并使用了canny的controlNet结果。但是感觉更加像是图生图模块没做好,是需要注意什么吗?我也加载了vae-fp16的了
https://github.com/user-attachments/assets/8a3a371f-6ab9-4c38-8daa-92a15e834aa3
原始的视频是这个
https://github.com/user-attachments/assets/36224c5d-6fb7-4fab-82d7-c72d1e299cc5