WangShuXian6 / blog

FE-BLOG
https://wangshuxian6.github.io/blog/
MIT License
46 stars 10 forks source link

stable diffusion model 模型 #156

Open WangShuXian6 opened 1 year ago

WangShuXian6 commented 1 year ago

stable diffusion model

模型种类

不同的模型会带来不同的画风、认识不同的概念(人物/物体/动作),这是模型众多的原因。

常见的模型可以分为两大类:大模型,用于微调大模型的小型模型。 他们都可以拥有一样的后缀名 辨别模型种类 https://spell.novelai.dev/

Checkpoint/大模型/底模型/主模型

这里的大模型特指标准的 latent-diffusion 模型。拥有完整的 TextEncoder、U-Net、VAE。

小型模型

由于想要炼制、微调(finetune)大模型十分困难,需要好显卡、算力,所以更多的人选择去炼制小型模型。 这些小型模型通过作用在大模型的不同部分,来简单的修改大模型,从而达到目的。

常见的用于微调大模型的小型模型又分为以下几种: Textual inversion (常说的Embedding模型)、Hypernetwork模型、LoRA模型。

此外,还有一种叫做 VAE 的模型,通常来讲 VAE 可以看做是类似滤镜一样的东西。他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面就自带 VAE 的,但是一些融合模型的 VAE 烂掉了 (典型:Anything-v3),需要外置 VAE 的覆盖来救救。有时画面发灰就是因为这个原因。

VAE,  Variational autoencoder。变分自编码器,负责将潜空间的数据转换为正常图像。

由于模型的种类不同、作用位置也不同,所以想要使用这些模型文件必须分清这些模型类别,并且正确的使用对应的方法模型才会生效

AI绘画模型后缀名

  1. ckpt ,2. pt ,3. pth,4. safetensors,5(特殊)webui 特殊模型保存方法:PNG、WEBP图片格式。

暂且抛开第五种不谈。这几种后缀名都是标准的模型,从后缀名是无法判断具体是哪一种类的模型。

其中,1,2,3 这三种是 pytorch的标准模型保存格式,由于使用了 Pickle,会有一定的安全风险(自行百度:pickle反序列化攻击)。 第四种为一种新型的模型格式,正如同他的名字,safe。为了解决前面的这几种模型的安全风险而出现的。safetensors 格式与 pytorch 的模型可以通过工具进行任意转换,只是保存数据的方式不同,内容数据没有任何区别。

Pytorch, 深度学习框架 https://pytorch.org/

safetensors模型 需要 webui 更新到2022年12月底以后的版本才能用

Checkpoint/大模型/底模型/主模型

大模型。常见格式为 ckpt,一个字,大。大小在GB级别,常见有 2G、4G、7G模型。

模型大小不代表模型质量

目前比较流行和常见的checkpoint模型有Anything系列(v3、v4.5、v5.0)、AbyssOrangeMix3、ChilloutMix、Deliberate、国风系列等等。 这些checkpoint模型是从Stable Diffusion基本模型训练而来的,相当于基于原生安卓系统进行的二次开发。 目前,大多数模型都是从 v1.4 或 v1.5 训练的。它们使用其他数据进行训练,以生成特定风格或对象的图像

使用方法:放在sd-webui-aki-v4.2\models\Stable-diffusion这个文件夹内。 在 webui 左上角选择对应的模型。 image 部分合并出来的大模型VAE烂掉了,画面会发灰,这时候需要你去设置中手动选择vae并应用保存。

不同模型在同一参数下的表现有时候可以用天差地别来形容,下面是个例子: image


小型模型

Embedding (Textual inversion)

俗称的 embedding 模型。常见格式为 pt、png图片、webp图片。大小一般在 KB 级别。 image

使用方法:

放在sd-webui-aki-v4.2\embeddings这个文件夹里面,生成图片的时候需要带上 文件名 作为 tag。

例如,这张图里面的 shiratama_at_2-3000.pt 这个模型,使用的时候就需要带上这个tag:shiratama_at_2-3000 image

Hypernetwork

常见格式为 pt。大小一般在几十兆到几百兆不等。由于这种模型可以自定义的参数非常之多,一些离谱的 Hypernetwork 模型可以达到 GB 级别。 image

使用方法:放在sd-webui-aki-v4.2\models\hypernetworks文件夹内。

旧版的时候在设置里面可以找到选项,选择对应的即可使用。

新版改版了(2023年第2周左右)使用方法如图所示 image

LoRA

常见格式为 pt、ckpt。大小一般在8mb~144mb不等。

使用方法:目前有两种用法。

一种是插件方式使用,参考 https://www.bilibili.com/video/BV1Py4y1d7eJ

另一种是新版本,原生支持lora。

模型需要放在 models/Lora 文件夹。使用方法如图所示,点击一个模型以后会向提示词列表添加类似这么一个tag, <lora:模型名:权重> 也可以直接用这个tag调用lora模型。 image image

当下最火的微调模型,可以将某一类型的人物或者事物的风格固定下来。它们通常为10-200 MB。必须与checkpoint模型一起使用。

现在比较火的Korean Doll Likeness、Taiwan Doll Likenes、Cute Girl mix都是真人美女LoRA模型,效果很惊艳。 还有一些特定风格的LoRA也非常受欢迎,最著名的有墨心等

VAE 模型

美化模型/变分自编码器 常见格式为 .pt VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调。

有的大模型是会自带VAE的,比如Chilloutmix。如果再加VAE则可能画面效果不会更好,甚至适得其反。

系统自带的VAE是animevae,效果一般, 建议可以使用kl-f8-anime2或者vae-ft-mse-840000-ema-prunedanime2适合画二次元,840000适合画写实人物。

使用方法:将其放在 models/VAE 文件夹。 image

放置完毕后,在设置页面进行如下选择并保存。 image

WangShuXian6 commented 1 year ago

模型网站

模型下载网站

网站 描述
Civitai 最常用的模型下载网站,但是需要魔法才可以访问。
Hugging Face 偶尔个别模型作者会发布在此网站内,极个别情况下使用。

类型

类型 版本 描述 链接
官方模型 1.5 适合生成写实类风格
NovelAI 泄漏版 适合生成二次元风格
ControlNet 3.0 适合生成半写实类风格
LoRA模型-P1 1 第一批LoRA热门模型
LoRA模型-P2 2 第二批LoRA热门模型
LoRA模型-P3 3 第三批LoRA热门模型
LoRA模型合集 0 Trauter_LoRAs游戏模型
WangShuXian6 commented 1 year ago

stable diffusion 官方模型

https://huggingface.co/runwayml/stable-diffusion-v1-5 Stable Diffusion的官方模型更适合绘制偏写实的风格

安装方法

将模型下载后,将会得到一个名为****.ckpt格式的文件, 将该文件剪切至你的Stable Diffusion本地安装目录,例如\stable-diffusion-webui\models\Stable-diffusion

详情

Stable Diffusion的官方模型V1.5与V1.4比起来,整体画面构成区别不大,色阶对比度和光源渲染提升,光源效果更加平滑合理。

本次Stable Diffusion的官方模型V1.5版本一共提供了两个模型,一个3.97GB,另一个是7.17GB。

两个模型的区别如下

绘画版|3.97GB模型:推荐正常绘图的人使用,无需训练自己的模型。 训练版|7.17GB模型:如果您想以该模型为基础,训练自己的模型。那么下载该模型可以得到更好的效果。

两个不同大小的模型任选其中一个下载即可,没必要两个都下载。

WangShuXian6 commented 1 year ago

Stable Diffusion NovelAI 模型

https://openai.wiki/stable-diffusion-novelai-model.html

该模型为NovelAI泄漏的完整版本,Stable Diffusion WebUI可以直接调用,非常适合二次元风格角色以及场景的绘制

安装方法

将模型下载后,将会得到一个名为****.ckpt格式的文件,将该文件剪切至你的Stable Diffusion本地安装目录, 例如stable-diffusion-webui\models\Stable-diffusion

更新详情

NovelAI的模型为官网泄漏版本,经常适应调试之后,是可以与NovelAI官网所提供的收费在线绘制效果完全一致的,而且Stable Diffusion WebUI可完美兼容NovelAI的模型与风格设置。

资源详情

NovelAI模型共计50多G,但其实真正可以用到的仅为一个7.17GB的ckpt模型即可,适用于图片绘制与训练, 另外还有一个pt后缀格式的风格化文件, 建议将两个文件下载后直接移动到模型位置即可。

名称 大小 功能
final-pruned.ckpt 7.17GB 基础模型,也可以用来训练。
final-pruned.vae.pt 784MB 可自由选择绘图风格

注意事项

如果您想更改文件名称,例如欲将final-pruned.ckpt更改为openAI.ckpt,那么另一个文件的名称必须为openAI.vae.pt, 为了避免不必要的麻烦,请尽量不要尝试更改文件名称。

WangShuXian6 commented 1 year ago

ControlNet 模型

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main https://github.com/lllyasviel/ControlNet

模型描述

https://huggingface.co/lllyasviel/ControlNet

模型 功能
ControlNet/models/control_sd15_canny.pth ControlNet+SD1.5 模型,用于使用 Canny 边缘检测来控制 SD。
ControlNet/models/control_sd15_depth.pth ControlNet+SD1.5 模型,用于使用 Midas 深度估计来控制 SD。
ControlNet/models/control_sd15_hed.pth ControlNet+SD1.5 模型,用于使用 HED 边缘检测(软边缘)来控制 SD。
ControlNet/models/control_sd15_mlsd.pth ControlNet+SD1.5 模型,用于使用 M-LSD 线检测(也可与传统霍夫变换一起使用)来控制 SD。
ControlNet/models/control_sd15_normal.pth ControlNet+SD1.5 模型,用于使用法线贴图来控制 SD。最好使用由 Gradio 应用生成的法线贴图。其他法线贴图也可能有效,只要方向正确(左边呈红色,右边呈蓝色,上方呈绿色,下方呈紫色)。
ControlNet/models/control_sd15_openpose.pth ControlNet+SD1.5 模型,用于使用 OpenPose 姿势检测来控制 SD。直接操纵姿势骨架也应该有效。
ControlNet/models/control_sd15_scribble.pth ControlNet+SD1.5 模型,用于使用人类涂鸦来控制 SD。该模型经过强大的数据增强,使用边界边缘以模拟人类绘制的边界线。
ControlNet/models/control_sd15_seg.pth ControlNet+SD1.5 模型,用于使用语义分割来控制 SD。所使用的协议是 ADE20k。
ControlNet/annotator/ckpts/body_pose_model.pth 第三方模型:Openpose 的姿势检测模型。
ControlNet/annotator/ckpts/hand_pose_model.pth 第三方模型:Openpose 的手部检测模型。
ControlNet/annotator/ckpts/dpt_hybrid-midas-501f0c75.pt 第三方模型:Midas 深度估计模型。
ControlNet/annotator/ckpts/mlsd_large_512_fp32.pth 第三方模型:M-LSD 检测模型。
ControlNet/annotator/ckpts/mlsd_tiny_512_fp32.pth 第三方模型:M-LSD 的另一个较小的检测模型(我们不使用此模型)。
ControlNet/annotator/ckpts/network-bsds500.pth 第三方模型:HED 边界检测模型。
ControlNet/annotator/ckpts/upernet_global_small.pth 第三方模型:Uniformer 语义分割模型。
ControlNet/training/fill50k.zip 用于训练教程的数据。
WangShuXian6 commented 1 year ago

LoRA 模型

https://civitai.com/ Civitai官网的LORA标签

内容来源 https://openai.wiki/

基础模型

基础模型可以理解为一栋大楼的地基,是这一整栋大楼的根本,如果没有地基的存在,也就没有办法在上面建设每个单独的房间。

所以如果你想使用Lora生成指定的角色,那就必须要先加载基础模型,然后再安装角色模型。

名称 中文名称 大小 网盘
Chilloutmix-Ni 清凉组合 7.17GB 下载
NeverEnding Dream (NED) 永无止境的梦想 3.97GB 下载

image

目前比较主流的基础模型为ChilloutMix,是以SD官网模型1.5版本为基础进行训练的。 https://civitai.com/models/6424/chilloutmix https://www.123pan.com/s/sKd9-LkJc.html

使用教程

下载基础模型ChilloutMix,移动至*\stable-diffusion-webui\models\Stable-diffusion目录。 下载需要的角色模型,移动至*\stable-diffusion-webui\models\Lora目录。 重启Stable Diffusion WebUI主界面 在Stable Diffusion WebUI的主界面左上角加载基础模型ChilloutMix。 在SD的文生图或图生图界面内的生成按钮下,可以看到一个粉色的图标,该图标名为Show extra networks(显示额外网络),点击该红色图标将会在本页弹出一个面板,在该面板中可以看到Lora选项卡。 可以看到已经安装的Lora模型,点击模型名称将会自动该角色名称加载到Prompt文本框中。 填写一些其它的描述信息和相应的参数之后,就可以看到非常理解的效果了。

提示词示例

示例拆解 下面是一段完整的提示词示例,该示例以八重神子角色模型为例,在提示词中可以看到被尖角号括起来的角色名称<lora:yaeMikoRealistic_yaemikoFull:1>,除名称外的其它词条也比较少,但是效果非常棒。

best quality, ultra high res, (photorealistic:1.4), 1girl, nude, full body, spread legs,  <lora:koreanDollLikeness_v15:1> ,<lora:yaeMikoRealistic_yaemikoMixed:1>,
Negative prompt: paintings, sketches, (worst quality:2),(low quality:2),(normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,{{{bad_hands}}},badhand, bad_feet,
ENSD: 31337, Size: 960x1024, Seed: 4138265202, Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Clip skip: 2, Model hash: fc2511737a

示例效果展示 image

角色模型

下载未补充

名称 中文名称 角色标签 网盘
Yae Miko 八重神子 [下载]()
Korean Doll 韩国娃娃 [下载]()
Yor Briar 约尔·福杰 [下载]()
Jelly 果冻 [下载]()
i_am_young22 张娜英 [下载]()
chunmomo 蠢沫沫 [下载]()
Taiwan Doll 台湾女孩 [下载]()
Raiden Shogun 雷电将军 [下载]()
hf2ming-beta-020601 仿宋服风格 [下载]()
DingZhenLora 丁真 [下载]()
Makima (Chainsaw Man) LoRA 玛奇玛 [下载]()
Lucy 露西 [下载]()
MoXin 墨心 [下载]()
Shukezouma 疏可走马 [下载]()
POV Squatting Cowgirl LoRA 女牛仔 [下载]()
LiuYiFei 刘亦菲 [下载]()
Sam Yang Style LoRA SamYang [下载]()
YoRHa No. 2 Type B 尤尔哈2B [下载]()
Hipoly 3D Model LoRA 海保利 [下载]()
Better Bodies 更好的身体 [下载]()
Liyuu LoRA リーユウ [下载]()

模型展示

image image image


名称 中文名称 角色标签 网盘
Innies: Better vaginas 茵妮斯 下载
Elegant hanfu ruqun style 优雅的汉服 下载
POV Doggystyle LoRA 狗狗风格 下载
ChilloutMixss Chillout混合 下载
WLOP Style LoRA 鬼刀风 下载
Lisa Blackpink Lisa 下载
IU 李知恩 下载
Irene 艾琳 下载
Yeji Itzy 黄礼志 下载
Jennie Blackpink 金智妮 下载
Saika Kawakita 河北彩花 下载
Nazuna Nanakusa 七草荠 下载
BlueArchive_AjitaniHifumi 阿慈谷日富美 下载
Rosè Blackpink 朴彩英 下载
Eye – LoRa 眼睛 下载
goutou 狗头萝莉 Lora 狗头萝莉 下载
Ganyu (Genshin Impact) 元神-甘雨 下载
Dilraba Dilmurat 迪丽热巴 下载
Jiyeon 朴智妍 下载
Atdan Style LoRA Atdan风格 下载
Translucent bunnysuit 半透明兔衣 下载

image image image


名称 中文名称 角色标签 网盘
Gacha splash 扭蛋飞溅 <lora:Gacha Splash 3.1:1> 下载
Anime Tarot Card Art Style 塔罗牌艺术风格 下载
Arcane Style 神秘的风格 下载
Studio Ghibli Style 吉卜力艺术风格 下载
Riding Dildo Sex Act Lora 骑行 下载
Helltaker LoRA 地狱把妹王 下载
Murky’s After Sex Lying 背刺 下载
Ahri (League of Legends) 阿狸 下载
Dark Magician Girl LoRA 黑魔导少女 下载
Keqing Genshin Impact 3in1 刻晴 下载
Standing Full Body with Background Style 带背景立绘风格 下载
Hestia (DanMachi) LoRA 赫斯缇亚 下载
Murky’s Cum on Tongue 舌头上的液体 下载
Firekeeper from Darksouls3 防火女 下载
Loona (Helluva Boss) [LoRA] 极恶老大 下载
Upshirt / Underboob Clothing 半胸服 下载
H&K HK416 LoRA HK416自动步枪 下载
[Tsumasaky] Nilou Genshin Impact 原神-妮露 下载
Yoneyama Mai [米山 舞] Style Likeness 米山 舞 下载
Murky’s Sideway Ass LoRA Murky 的侧身PG 下载
Bronya Zaychik Silverwing: N-EX Honkai Impact 3rd 布洛妮娅·泽奇克 银翼:N-EX 崩坏 下载

image image image


Trauter_LoRAs|Lora游戏角色模型

https://huggingface.co/YoungMasterFromSect/Trauter_LoRAs

Trauter_LoRAs是国外网友在Hugging Face托管的LoRA模型,其中包括原神-Genshin Impact、钟离-Zhongli、优菈-Eula、申鹤-Shenhe、夜兰-Yelan、宵宫-Yoimiya、八重神子-Yae Miko、雷电将军-Raiden Shogun、罗莎莉亚-Rosaria、九条裟罗-Kujou Sara、琴-Jean、莫娜-Mona、丽莎-Lisa、迪卢克-Diluc、芭芭拉-Barbara、碧蓝档案-Blue Archive、一之濑明日奈-Ichinose Asuna、陆八魔阿露-Rikuhachima Aru、命运-Fate Grand Order、源頼光-Minamoto-no-Raikou、莱莎的炼金工房-Misc. Characters、阿波尼亚-Aponia、莱莎琳·斯托特-Reisalin Stout、艺术风格-Artstyles、Pozer。

LoRA 只是一个针对特定艺术风格/主题进行训练的检查点,您可以将其加载到 WebUI 中, 可以与其他模型一起使用。尽管您可以将其与任何模型一起使用, LoRA 的效果在它们之间会有所不同。

大多数预览都使用来自WarriorMama777的模型。 有关它们的更多信息, 您可以访问原始 LoRA 存储库:https://github.com/cloneofsimo/lora

使用方法

所有的 LoRA 都将与其原始的danbooru标签一起使用.例如:

asuna (blue archive)

所有 LoRA 都包含后缀,告诉您它们接受了多少训练.要么使用“软”和“硬”等词,其中软代表较少的训练量,硬代表较高的训练量。

训练有素的 LoRA 更难修改,但在细节和原始服装方面提供更高的一致性, 而训练有素的 LoRA 会更灵活,但可能会弄错细节。

所有未标记为 PRUNED 的 LoRA 都需要标记有关角色的所有内容才能获得它的可爱度. 你必须标记角色的每个部分,比如:眼睛,头发,乳房,配饰,特殊功能,等等……

原神-Genshin Impact

image image

碧蓝档案-Blue Archive

image

命运-Fate Grand Order

image

莱莎的炼金工房-Misc. Characters

image

艺术风格-Artstyles

image