pkuliyi2015 / multidiffusion-upscaler-for-automatic1111

Tiled Diffusion and VAE optimize, licensed under CC BY-NC-SA 4.0
Other
4.59k stars 330 forks source link

4G显存 如何生成8k图片 #361

Open tjzoo111 opened 3 months ago

tjzoo111 commented 3 months ago

我用了 Multidiffusion + SR 放大效果出奇的好;但是在过程中参数设置的尝试太费力了 。 今天正在尝试 4g显存生成8k图片;但是在教程太简短,参考不多。用起来比较吃力;但是我想理解,插件运行的原理,方便更好的使用他;在4G显存下能更好发现这个插件的用法 ,24G显存 很难发现这个插件优势; 看了讨论4g生成8k,应起我的好奇想尝试。猜测是拼接的方式;但是我没有理解 这个插件工作方式;并没有成功拼接上,还不能达到4g生成8k这个效果

能描述下4G如何生成8k图像吗?具体参数 和适用的范围 是图生图还是文生图还是都能用 ?

另外提问 我在绘图中看到终端过程有 MixtureOfDiffusers Sampling 60% 结合comfy的连线提出疑问, 他这个时候在做什么?

在这个MixtureOfDiffusers Sampling 工作中 可能 还有 【 反转噪声+全局重绘 】这个工作 同步;有时候 我的 全局重绘已经完成 MixtureOfDiffusers Sampling 却因为分块小 还没执行完成; 【MixtureOfDiffusers Sampling 】和【 反转噪声+全局重绘 】有没有相互作用?

在全局重绘前就必须完成MixtureOfDiffusers Sampling 工作吗? 还是这两个工作可以同步进行? 全局重绘比MixtureOfDiffusers Sampling 先完成 有些什么影响?

Kahsolt commented 3 months ago

运行原理就是输入拆块分别处理最后缝合回来 4G生成8k不是没有可能:img2img 管线,tiled_vae 和 tiled_diff 都打开,并且把 tile_size 拉到最小 (=48?),这个8k图会被拆成114514个块,and 2000 years later you'll be able to get the result....

毕竟 4G 空间真的太小了,每次只能处理一点点东西,时间换空间、空间换时间;之前群里有老哥这样去渲染一幅大图花了十几个小时。我个人感觉吧,这只有技术测试性能测试的意义,只要寿命够长,树莓派集群也不是不可以跑ChatGPT(

Kahsolt commented 3 months ago

这个【全局重绘】和【MixtureOfDiffusers Sampling】分别是啥我有点蒙,有木有截图看看