WangShuXian6 / blog

FE-BLOG
https://wangshuxian6.github.io/blog/
MIT License
45 stars 10 forks source link

ControlNet [stable diffusion] #160

Open WangShuXian6 opened 1 year ago

WangShuXian6 commented 1 year ago

ControlNet

huggingface: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

插件链接:https://github.com/Mikubill/sd-webui-controlnet

链接: https://pan.baidu.com/s/1rh39DI9xVbguLO5l7O4pjA 提取码: yqqe

ControlNet 模型 命名 image

安装 ControlNet 插件

秋叶启动页中,扩展-更新 ControlNet 版本

安装 ControlNet 模型

将下载好的 downloads 文件夹整个放入整合包 \sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator路径下 即\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator\downloads

将下载的模型文件夹下的 ControlNet 模型文件 .pth [不包括文件夹本身]全部放入整合包 \sd-webui-aki-v4.2\models\ControlNet目录下


controlnet 模型下载

https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main

WangShuXian6 commented 1 year ago

人设三视图一键生成 ControlNet

https://www.bilibili.com/video/BV1gk4y1h7xF/?vd_source=f259d77343588259f8e1b4ae567b1d34 https://pan.quark.cn/s/a8075e858ee9

安装

安装Lora模型 安装三视图模型

将下载文件charturnbetalora.safetensors放入sd-webui-aki-v4.2\models\Lora文件夹下

三视图骨骼图

backward_first 反向先行 backward_first

forward_first 正向先行 forward_first

no_closeup 无特写 no_closeup

使用

显卡够好,基础分辨率就拉大点,效果更好。拉大会炸 底模:anythingv3系列 其他模型可能会出现无法产生白背景的情况,需要多提升一下simple background这类tag的权重

ControlNet-启用 ControlNet-模型-control_openpose ControlNet-拖入一张提示图[三视图骨骼图 之一]

提示词:


masterpiece, best quality, 1girl, simple background, (white background:1.5), multiple views,  
``` >上下位固定提示词,中间空白处填入自定义提示词即可 >启用 高清修复 >重绘幅度:0.6 >宽:704 高:320 >开始生成 ![00016-2676270764-masterpiece, best quality, 1girl, simple background, (white background_1 5), multiple views, _Beauty, doll face, medium-long ha](https://github.com/WangShuXian6/blog/assets/30850497/a52b71b8-12b3-4342-b21a-2d8ae1dfa2f0)
WangShuXian6 commented 1 year ago

完美控制画面!告别抽卡时代 人物动作控制/景深/线稿上色

https://www.bilibili.com/video/BV1Wo4y1i77v/?vd_source=f259d77343588259f8e1b4ae567b1d34 https://www.bilibili.com/video/BV1fa4y1G71W/?vd_source=f259d77343588259f8e1b4ae567b1d34

人物动作控制

image

文生图 打 tag,调成参数

ControlNet-启用 预处理器: openpose [真人图片pose] / none [骨骼图片 pose] 模型:control_openpose 权重weight:1 【canny 需要更小】

预处理器和模型要保持一致

拖入摆好pose的真人图片/3D模型/骨骼图片

宽高不需设置 image

生成

image

绘制openpose骨骼的工具:

分为PSD版本(用于photoshop)、blender模型版本。 https://pan.quark.cn/s/2675a81081d7 用于blender的模型-OpenposeBone.zip 用于PS的骨骼psd-PoseBone.zip


边缘检测以上色

image

canny 预处理器 + control_canny 模型

画面结构

image

非精确 边缘检测

image

MLSD 线段图

image

手绘图

image