search

modelscope / DiffSynth-Studio

Enjoy the magic of Diffusion models!
Apache License 2.0
6.59k stars 600 forks source link

Kolors with IP-Adapter #111

Closed JoshonSmith closed 3 months ago

JoshonSmith commented 4 months ago

仓库里已经开源了 Kolors lora训练方案 请问有计划 Kolors with IP-Adapter ？

Artiprocher commented 4 months ago

Kolors 可以直接用 SDXL 的 IP-Adapter 跑，你可以参考这个脚本，把模型路径改一下，然后把 Pipeline 改成 KolorsImagePipeline，就可以直接跑。

但是，我们发现 SDXL 的 IP-Adapter 并不能完美兼容 Kolors，最佳方案是重新训练 IP-Adapter 模型，我们暂无亲自训练这个模型的计划，但如果有开源模型，我们会提供推理支持。

JoshonSmith commented 3 months ago

Kolors 可以直接用 SDXL 的 IP-Adapter 跑，你可以参考这个脚本，把模型路径改一下，然后把 Pipeline 改成 KolorsImagePipeline，就可以直接跑。

但是，我们发现 SDXL 的 IP-Adapter 并不能完美兼容 Kolors，最佳方案是重新训练 IP-Adapter 模型，我们暂无亲自训练这个模型的计划，但如果有开源模型，我们会提供推理支持。

kolors 最近开源了 ipadapter的权重

Artiprocher commented 3 months ago

@JoshonSmith 感谢您的提醒，我们近期也在关注 Kolors 的开源生态发展，我们正在重构部分代码，试图使 Kolors 模型能够与 SDXL 的生态合并，从而赋予 Kolors 模型更多能力，敬请期待我们后续的更新

JoshonSmith commented 3 months ago

@JoshonSmith 感谢您的提醒，我们近期也在关注 Kolors 的开源生态发展，我们正在重构部分代码，试图使 Kolors 模型能够与 SDXL 的生态合并，从而赋予 Kolors 模型更多能力，敬请期待我们后续的更新

期待中！