海哥 发表于 前天 11:26

Stable Diffusion 五大模型深度解析,模型保姆级安装指南

关注我的微信公众号:了然知识库,发送关键字“sd”可免费获取资料“AI绘画stable diffusion秋叶版启动器和基础教程”
已经是第三篇文章了,本日先来给各人介绍一下stable diffusion webui的参数含义。
   
模型介绍

   
在stable diffusion中,一样寻常使用的模型有以下5种,属于基础常用模型:
   


[*]stable diffusion大模型(checkpoint)
[*]lora模型
[*]嵌入式模型(Embeddings)
[*]超网格模型(Hypernetwork)
[*]变分自编码器模型(VAE),区分于外置的VAE模型
   
所谓模型,就是经过图片练习而获得的不同步伐包,模型并不是存放了这些图片本身,而是存放了这些图片在二维空间中的特性和规律,当然,以上是一种简单理解而已。
   

https://i-blog.csdnimg.cn/img_convert/c67d18d932e773b089ffc9b05dda4ea1.png
   
在stable diffusion生态中有三个层次,第一个层次是最基础的,由官方自身花费极大算力制作的大模型,即checkpoint,官方的sd模型也叫做预练习模型;第二个层次是基于大模型中间层的微调模型;最后则是用户使用时的图片生成,也就是应用层面,是对前两种模型和其他步伐的最后使用效果。
   

https://i-blog.csdnimg.cn/img_convert/22280e4f779e6adfd56416a39171b02b.png
   
大模型分为三部分:文本编码器(TextEncoder)、神经网络(U-net)、图像编码器(VAE)。
   
大模型的调解对于普通用户来说是非常苦难的,紧张在于成本和算力问题,其次在于时间,以是普通用户一样寻常不必考虑大模型的练习,而是直接使用别人练习好的大模型。
   
模型对比

   
模型名称安装目录练习方法常见巨细使用方法特点Checkpoint\models\Stable-diffusionDreambooth约2GBwebui顶部设置栏直接切换最紧张的主模型,效果最好,常用于控制画风,但文件体积大,不够灵活Lora\models\LoraLora约150MB提示词框输入<lora:lora文件名:权重>目前最热门的扩展模型,体积小且控图效果好,常用于固定角色特性Hypernetwork\models\hypernetworksHypernetwork几十MB提示词框输入<hypernet:hyperne文件名:权重>雷同低配版的lora模型,但因练习难度较高而已逐渐被淘汰,多用于控制画风VAE\models\VAE/约300MBwebui顶部设置栏直接切换作为外置模型来补充主模型的VAE功能,多用于辅助出灰图的主模型Embedding\models\EmbeddingTextual Inversion几十KB提示词框输入触发关键词最轻量的模型,适合 控制人物角色,但控图能力有限   
大模型Checkpoint

   
国内的模型网站:LiblibAI-哩布哩布AI - 中国领先的AI创作平台
   
我在该站也练习了一些好看的汉服lora模型,接待各人免费使用,我的主页:LiblibAI-哩布哩布AI - 了然的lora主页
   
该网站支持新老用户每天免费领取生图点300,每个月还支持5次每次不凌驾500点的lora模型练习。
   
可在右侧举行筛选
   

https://i-blog.csdnimg.cn/img_convert/3ea5289f99a9301cc33f56eec61a63dd.png
   
基础算法:指的是练习该大模型时使用的算法,在选择时一样寻常来说sd1.5的模型生态较好较多,一样寻常在2GB左右,但在细节如手指等方面处置惩罚不够好。目前F.1算法的模型生态也不错,且手指等问题也处置惩罚得很好,只是其大模型更大,一样寻常在11GB以上。另一个是sd-xl算法,模型一样寻常在6-7GB左右,生态也不错。
   
安装模型,可在秋叶启动器中,找到模型管理菜单,然后点击右上角的“打开文件夹”。
   
大模型放在文件夹Stable-diffusion文件夹中。
   

https://i-blog.csdnimg.cn/img_convert/2835f77f4cfd65d83454b2887cedf615.png
   

https://i-blog.csdnimg.cn/img_convert/a5c5b30fe1881a0288e327c9aa61b3fa.png
   
当然,你也可以自己到根目录下找该文件夹models,这个文件夹放置着全部模型文件:
   

https://i-blog.csdnimg.cn/img_convert/bea218a5b91e75daf64b6b3ec655c373.png
   

https://i-blog.csdnimg.cn/img_convert/5564c12147549aaf13ab6c4ab286967f.png
   
使用时,在webui界面的左上角,点选stable diffusion模型即可。
   

https://i-blog.csdnimg.cn/img_convert/3a13a659c6a227df3af714a4d87d89ad.png
   

https://i-blog.csdnimg.cn/img_convert/81fb5e737e976f2339de96872e6d845b.png
   
另一个位置也可切换:
   

https://i-blog.csdnimg.cn/img_convert/fa148e8613a64abea27e571cae27ab3e.png
   
嵌入式模型(Embeddings)

   
嵌入式模型可以稳定控制角色的特性,是一种文本向量,以是比较小。
   
相当于你自己写了一个“提示词”,然后该提示词可以被嵌入式模型扩展解释得更加准确。
   

https://i-blog.csdnimg.cn/img_convert/b44fcb96c965fb447d0a463641491966.png
   
在秋叶启动器界面的模型管理中,内置有一些嵌入式模型,如图:
   

https://i-blog.csdnimg.cn/img_convert/b3f42f0dcc94d83f9fe1accf838ce29a.png
   
嵌入式模型的存放路径:
   

https://i-blog.csdnimg.cn/img_convert/433dcdee5b5eacb9c50baec78d889c41.png
   
假如你下载了模型放进去,必要重新启动一下启动器。
   
使用上,点击嵌入式模型,然后点选相应的嵌入式模型即可。嵌入式模型可以在正向提示词使用,也可以在反向提示词使用。
   

https://i-blog.csdnimg.cn/img_convert/ddbe0eee09ee3a136afb8c71a14efa4e.png
   
lora模型

   
以下是一个常用的lora模型,一样寻常我们注意其巨细、类型、基础算法和触发词即可。
   

https://i-blog.csdnimg.cn/img_convert/c2ea52381191a7d2ca0da77a55c07de3.png
   
秋叶启动器的webui一样寻常仅支持sd1.5算法,这个必要各人注意。
   
lora模型时在神经网络u-net中举行微调,相当于将lora模型的参数插入到了原模型的神经网络中。lora模型时目前最为热门的模型,普通用户也可以练习自己的lora模型。
   

https://i-blog.csdnimg.cn/img_convert/d1ec9a75b699c2766f2d86df33258ff5.png
   
lora模型放置在models下的lora文件夹中:
   

https://i-blog.csdnimg.cn/img_convert/b6e5bea8215c96d8b790710e020565de.png
   
在秋叶启动器中也可以复制链接到浏览器,直接下载lora模型:
   

https://i-blog.csdnimg.cn/img_convert/b4abd0078b91734de08fc9377f5f1d52.png
   
lora模型在使用上,也是直接点选的,注意一些lora必要触发词,lora模型选择后一样寻常都在正向提示词区出现,格式雷同于【<lora名称:lora权重>】。
   

https://i-blog.csdnimg.cn/img_convert/cd79da94126aa5f8b752a60bdf099064.png
   
超网格模型(Hypernetwork)

   
可以看做低配版的lora模型,控制图片的画风,但是可以用lora直接替换了,这里就不讲了。
   
VAE模型

   
VAE模型一样寻常在大模型中会自动内置,此时,我们在选择VAE模型时选择none或Automatic。假如大模型没有内置VAE模型,出图会比较灰暗的时候,可以使用一些VAE模型。
   

https://i-blog.csdnimg.cn/img_convert/1956db739e8a6dcbe6c842ec6d10cddd.png
   
假如要下载VAE模型,可以在模型管理中复制链接到浏览器下载。
   

https://i-blog.csdnimg.cn/img_convert/5f0fae4739a22a35de544cea83df6bfc.png
   
目前来说,许多大模型都是内置了VAE的,以是不必选VAE模型。
   

https://i-blog.csdnimg.cn/img_convert/b70165b4970463737966c1ac8e685ce7.png
   

https://i-blog.csdnimg.cn/img_convert/767497ce8c100257f305db741cd30e31.png
   
VAE模型放在models/VAE中,放入模型后记得重启启动器见效,如图:
   

https://i-blog.csdnimg.cn/img_convert/6f4ae99f62aa5275c29034ec4cb4d421.png
   
注意:大模型XL的底模不必使用VAE模型。
   

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: Stable Diffusion 五大模型深度解析,模型保姆级安装指南