modelscope / DiffSynth-Studio

Enjoy the magic of Diffusion models!
Apache License 2.0
6.54k stars 591 forks source link

sdxl的diffutoon_toon_shading问题 #158

Open lmpeng12 opened 2 months ago

lmpeng12 commented 2 months ago

你好,我将模型替换为sdxl的sdxl_video.py,也拷贝使用了您的最新代码,尝试得到的结果,比sd1.5的差很多。发觉生图的每一帧,和原始图像差异很大,这里边使用有什么要特别注意下吗,我将代码的推理流程参照您的sd1.5的写了一次。能否简单降解下。 没有编写lets_dance_xl_with_long_video 的结果 https://github.com/user-attachments/assets/12e1a7b4-fe46-4f55-aafb-780c1433f2d9

编写了lets_dance_xl_with_long_video,并使用了canny的controlNet结果。但是感觉更加像是图生图模块没做好,是需要注意什么吗?我也加载了vae-fp16的了

https://github.com/user-attachments/assets/8a3a371f-6ab9-4c38-8daa-92a15e834aa3

原始的视频是这个

https://github.com/user-attachments/assets/36224c5d-6fb7-4fab-82d7-c72d1e299cc5

Artiprocher commented 2 months ago

SDXL 的生态远没有 SD 完善,对应的 AnimateDiff 模块效果很差,所以我们暂时没有基于 SDXL 的动漫风格视频渲染方案,建议您使用 SD。

lmpeng12 commented 2 months ago

SDXL 的生态远没有 SD 完善,对应的 AnimateDiff 模块效果很差,所以我们暂时没有基于 SDXL 的动漫风格视频渲染方案,建议您使用 SD。

好的,我这边尝试混合ip-adapter,还有animatediff的xl版本,权重设为0.2,还是画面很脏,而且尝试了HotShot-XL,加载hsxl_tenporal_layers.f16.safetensors,也会变成全是噪声图。https://github.com/hotshotco/Hotshot-XL-Automatic1111