search

chengzeyi / stable-fast

Best inference performance optimization framework for HuggingFace Diffusers on NVIDIA GPUs.
MIT License
1.05k stars 59 forks source link

enable_cuda_graph 影响Lora的切换 #143

Closed CallmeZhangChenchen closed 2 months ago

CallmeZhangChenchen commented 2 months ago

stable-fast 优秀的项目！

在4090上，sd1.5 512*512 50step 大概700ms （enable_cuda_graph = True） 但是这个时候加载或者切换 Lora 时，效果没有变化，是不起作用的

当enable_cuda_graph = False时，这个时候加载或者切换 Lora ，效果有变化，是起作用的 但是推理的的时间变成了3s

sdxl1.0 enable_cuda_graph = False 或者 True ，时间变化不大

CallmeZhangChenchen commented 2 months ago
image

应该是这个问题导致的，感谢