search

smthemex / ComfyUI_StoryDiffusion

You can using StoryDiffusion in ComfyUI
Apache License 2.0
241 stars 195 forks source link

Loading checkpoint shards:这里很慢，然后两人还出鬼图 #18

Closed xueqing0622 closed 2 months ago

xueqing0622 commented 5 months ago

Loading checkpoint shards:这里很慢，然后两人还出鬼图 image

xueqing0622 commented 5 months ago

image

xueqing0622 commented 5 months ago

双人鬼图是否跟我用了加速lora有关， 我用了hyper-sdxl，单人没有问题。双人就鬼图。 不用加速Lora。双人也没有问题。
image

xueqing0622 commented 5 months ago

Loading checkpoint shards 这个是怎么回事，能跑了 还检查什么碎片

smthemex commented 5 months ago

加速Lora的方法还没有内置进去，今天会优化一下。双人用的是另外一种方法，如果加上Lora，随机性较大

xueqing0622 commented 5 months ago

我12G的卡，好像融不了 XL的大模型，哈哈，悲剧了。

xueqing0622 commented 5 months ago

Loading checkpoint shards， 你那里有没有。通过这个步骤太慢了

smthemex commented 5 months ago

Loading checkpoint shards，是加载MS-diffusion的必要步骤，主要是解码story的底图，二者的ip encoder不是一个版本，所以没法通配。12G按理能跑，除非你的CPU带不动，因为这一步是在CPU跑的

xueqing0622 commented 5 months ago

能跑 ，我这里跑平均两分半钟，我是3060 12G，32G内存 请问，你那边什么配置，跑多久

smthemex commented 5 months ago

测试用的机器，12G的显存，64内存，如果不跑双人，预加载过的（连续跑），4张图35秒

FLYleoYBQ commented 5 months ago

这么快？我出图要15分钟，3070TI的显卡

smthemex commented 5 months ago

步数不用太高，20步足够了，当然底模最好是用SDXL的扩散模型，不要偷懒用单体模型。也可以加加速Lora，确保速度

FLYleoYBQ commented 5 months ago

感谢回复，我这就试试

smthemex @.***> 于2024年6月25日周二 16:46写道：

步数不用太高，20步足够了，当然底模最好是用SDXL的扩散模型，不要偷懒用单体模型。也可以加加速Lora，确保速度

— Reply to this email directly, view it on GitHub https://github.com/smthemex/ComfyUI_StoryDiffusion/issues/18#issuecomment-2188330956, or unsubscribe https://github.com/notifications/unsubscribe-auth/AVZBCPMJPQOGDF36DK5OGNDZJEU6VAVCNFSM6AAAAABJWHB6NGVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCOBYGMZTAOJVGY . You are receiving this because you commented.Message ID: @.***>

smthemex commented 5 months ago

目前双人同框有bug 虽然已经修复 但是计划跟下个功能一起上线