search

modelscope / DiffSynth-Studio

Enjoy the magic of Diffusion models!
Apache License 2.0
6.35k stars 569 forks source link

kolors推理不支持pipe.enable_model_cpu_offload() #142

Open JoshonSmith opened 1 month ago

JoshonSmith commented 1 month ago

Kolors官方代码sample.py可以采用pipe.enable_model_cpu_offload()减少显存占用， 尝试修改DiffSynth的代码来减少Kolors的推理显存

请问DiffSynth是否会考虑支持这个特性

JoshonSmith commented 1 month ago

目前推理占用显存20G，希望可以通过1、cpu_offload, 2、chatglm3采用量化版本等，可以将显存占用降到16G以下，可以适配更多的显卡

Artiprocher commented 1 month ago

好的，已收到您的需求，我们会晚点支持这个特性