EdVince / Stable-Diffusion-NCNN

Stable Diffusion in NCNN with c++, supported txt2img and img2img
BSD 3-Clause "New" or "Revised" License
1k stars 95 forks source link

同prompt和seed下低分辨率和高分辨率生成差异大,有无办法缩小异变? #17

Closed Baiyuetribe closed 1 year ago

Baiyuetribe commented 1 year ago

最近体验了midjourney后,想尝试做成对话类的应用,主要适配AI绘本创作。 经过调整(随机值变为固定或有序),同prompt和seed下,补充描述词可以生成几乎相近的图像,非常符合AI绘本的要求。 image

问题

根据midjourney的模式,预先生成4张低分辨率的图,然后再选择优质的进行二次放大,这样有利于快速筛选优质结果和生成高质量成品。当我使用同一个prompt和seed生成的256图和512图,结果差异巨大,有无办法控制低分辨率到高点分辨率的异变效果? image

期待效果

image

EdVince commented 1 year ago

即便是同一个种子,不同分辨率下也会有不同的结果。因为很明显生成出来的256分辨率和512分辨率的初始随机图是不一样。你想做这种的话, 可以尝试把sampler从elura换成我代码里注释掉了的ddpm++2M karras,这个sampler只需要一个初始随机数。然后建议你再去看一下midjourney是怎么处理不同分辨率的随机数的问题的。

eeyrw commented 1 year ago

midjourney用的是多轮超分辨率的模式,和stable diffusion不一样。midjourney看到的大图实际上是超分辨率的结果。

Baiyuetribe commented 1 year ago

原来是这样啊,那我知道该怎么做了 👍