modelscope / DiffSynth-Studio

Enjoy the magic of Diffusion models!
Apache License 2.0
6.6k stars 600 forks source link

diffutoon添加跟没加一样 #273

Open DestoryVIP opened 1 day ago

DestoryVIP commented 1 day ago

作者您好,我最近在测试视频转绘,所使用的项目是diffutoon。 之后参照controlnet unit的方式写入配置文件。

"lora_units": [
                        {
                            "model_path":"models/lora/浮雕风格_01_relief.safetensors",
                            "scale":0.6,
                            "keywords":"relief"
                        }
                    ],

然后通过在load_pipeline函数中使用model_manager.load_lora()进行引入。

        for unit in lora_units:
            model_manager.load_lora(unit['model_path'], lora_alpha=unit['scale'])

但是实践下来发现,添加了Lora之后效果没有任何作用。在提示词中已加入<lora: lora_name: 1.0> 和 激活keyword

这里给出一个Bad demo,供复现该问题:

  1. checkpoint地址: https://www.liblib.art/modelinfo/0a20dd42f4234c79a3a8a00231cfc92e?from=search&versionUuid=0754624a7a1b49c9814ac9e48624787c
  2. lora地址:https://www.liblib.art/modelinfo/8e47c4e19a5742d08d0fb4c2a157f982?from=search&versionUuid=bac899291c084b02b0a735426fe0c8f2