много кто клянчит поддержку safetensors ничего не понимая
а вот эта шняга
https://github.com/leejet/stable-diffusion.cpp
ВНЕЗАПНО
очень легковесная и жрет мало рамы даже в fp16!!!
поддерживая эти ваши safetensors (сам сначала не очень поверил)
поддерживает квантизацию во время открытия!!!! (в итоге памяти оно жрет еще меньше)
вроде бы как поддерживает lora
заявляется вообще SD1.x, SD2.x and SDXL supportSD-Turbo and SDXL-Turbo
ну а onnx поддержку не надо выкидывать
пусть тоже будет
мне показалось что stable-diffusion.cpp заметно медленее чем ncnn в cpu only режиме
много кто клянчит поддержку safetensors ничего не понимая
а вот эта шняга https://github.com/leejet/stable-diffusion.cpp ВНЕЗАПНО очень легковесная и жрет мало рамы даже в fp16!!! поддерживая эти ваши safetensors (сам сначала не очень поверил) поддерживает квантизацию во время открытия!!!! (в итоге памяти оно жрет еще меньше) вроде бы как поддерживает lora заявляется вообще
SD1.x, SD2.x and SDXL supportSD-Turbo and SDXL-Turboну а onnx поддержку не надо выкидывать пусть тоже будет мне показалось что stable-diffusion.cpp заметно медленее чем ncnn в cpu only режиме