search

modelscope / DiffSynth-Studio

Enjoy the magic of Diffusion models!
Apache License 2.0
6.35k stars 569 forks source link

Multi-gpu card loading inference? #124

Open lonngxiang opened 1 month ago

lonngxiang commented 1 month ago

https://github.com/modelscope/DiffSynth-Studio/blob/main/examples/image_synthesis/kolors_text_to_image.py

how to use multi gpus?

image

lonngxiang commented 1 month ago

怎么使用多gpu进行推理？

lonngxiang commented 1 month ago

奇怪，单卡4090 kolos加lora模型都可以正常推理；但是用上面链接代码直接加载kolos模型就显示显卡不足

Artiprocher commented 1 month ago

这个脚本做了高分辨率修复，会把 1024 分辨率再超分到 2048，这一步可能会出现显存不足的情况

lonngxiang commented 1 month ago

这个脚本做了高分辨率修复，会把 1024 分辨率再超分到 2048，这一步可能会出现显存不足的情况

嗯，麻烦这边项目支持多gpu推理吗

Artiprocher commented 1 month ago

@lonngxiang 不支持

luoan7248 commented 2 weeks ago

加载lora权重推理怎么一次生成多张图片呀，我也没找到对应的参数配置。