Stable Diffusion 常用模子下载与阐明(保姆级)

打印 上一主题 下一主题

主题 1972|帖子 1972|积分 5916


  • List item
相比于Midjourney,Stable Diffusion最大的优势就是开源。相比于Midjourney靠开发职员开发的少数模子,SD则每时每刻都有人在天下各地训练本身的模子并免费公开共享给全天下的利用者。(固然你可以通过训练本身的专有模子而专门用于某一用途,这也将成为你作为AI绘画者的最重要的核心竞争力之一)
因此,学会利用各类模子对于学习利用Stable Diffusion非常重要。
常用模子下载网址推荐

现在,模子数量最多的两个网站是https://civitai.com/和https://huggingface.co/。civitai又称c站,有非常多出色纷呈的模子,有了这些模子,我们分分钟就可以变成绘画大师,用AI画出各种我们想要的效果。
C站长这样:

你会看到很多模子的预览图被屏蔽了,必要你认证为成人才能浏览。至于为什么要成人才能浏览,想必各人也是懂的都懂。
也正是云云,该网站在国内是被屏蔽的。登录必要科学上网。
Huggingface则相对朴实无华一些,对模子的审核也会更加严酷一些。但是利益在于不必要科学上网,而且网速很快

Huggingface界面如上。
它是一个综合性的网站,如果我们必要下载模子的话,选择Models。
进入之后,选择Text-to-Image,出来的就都是SD可以用的模子了。

除了C站和huggingface,其他的模子网站还有:
https://cyberes.github.io/stable-diffusion-models/
(SD的基础模子,不用科学上网,但是这些模子都一般般,意义不大)
https://rentry.co/sdmodels
(模子很多,但是界面没有C站友爱,必要科学上网)
炼丹阁 (www.liandange.com)
(国内的网站,很多都是搬运的C站的模子,合规性未知,通过百度网盘下载)
LiblibAI(www.liblibai.com)
LiblibAI,号称是国内最大的原创AI模子分享网站,但其实很多都是搬运的C站的模子,不外确实也有不少人气原创模子发布者入驻了该网站。
差别模子的阐明

如果你去本身下载模子,就会发现有各种差别类型的模子。
具体模子类型有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA、LyCORIS、Controlnet、Poses、wildcards等等,看得人眼花缭乱。这些都是什么意思呢?
Checkpoint/大模子/底模子/主模子

Checkpoint模子是SD能够绘图的基础模子,因此被称为大模子、底模子或者主模子,WebUI上就叫它Stable Diffusion模子。安装完SD软件后,必须搭配主模子才能利用。差别的主模子,其画风和擅长的领域会有偏重。
checkpoint模子包罗天生图像所需的一切,不必要额外的文件。但是它们体积很大,通常为2G-7G。
常见文件模式:尾缀ckpt、safetensors(如果都有提供的话建议下载safetensors,下同)
存放路径: \sd-webui-aki-v4\models\Stable-diffusion
模子的切换界面:

现在比较盛行和常见的checkpoint模子有Anything系列(v3、v4.5、v5.0)、AbyssOrangeMix3、ChilloutMix、Deliberate、国风系列等等。这些checkpoint模子是从Stable Diffusion基本模子训练而来的,相当于基于原生安卓体系举行的二次开发。现在,大多数模子都是从 v1.4 或 v1.5 训练的。它们利用其他数据举行训练,以天生特定风格或对象的图像。这个我们后面还会专门开一个专题举行讲解。
差别模子在同一参数下的体现偶尔候可以用天差地别来形容,下面是个例子:

LoRA

当下最火的微调模子,可以将某一类型的人物或者事物的风格固定下来。它们通常为10-200 MB。必须与checkpoint模子一起利用。
现在比较火的Korean Doll Likeness、Taiwan Doll Likenes、Cute Girl mix都是真人美女LoRA模子,效果很惊艳。还有一些特定风格的LoRA也非常受接待,最著名的有墨心等。这个我们后面也会再开一个专题讲解。

常见文件模式:尾缀ckpt、safetensors、pt
存放路径: \sd-webui-aki-v4\models\Lora
有多个方式可以利用
方法1是在天生界面调取选用。这个的利益是可以本身设置预览图,从而有直观的感受。

而且部分LORA只支持这种方式利用(不外AI绘画日新月异,说不定哪天规则又变了~)
方法2是以插件情势利用。利益是可以很方便的灵活调用多个LORA,并对他们按着差别比例举行混合。

在启动器界面选择模子管理,点击LoRA模子(插件),点击添加模子,选择你要添加的LoRA模子,重启启动器。然后在WebUI界面选择相应的插件和权重比例即可。

VAE美化模子/变分自编码器

VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调。
有的大模子是会自带VAE的,好比Chilloutmix。如果再加VAE则大概画面效果不会更好,乃至拔苗助长。
顺便说一句,体系自带的VAE是animevae,效果一般,建议可以利用kl-f8-anime2或者vae-ft-mse-840000-ema-pruned。anime2适合画二次元,840000适合画写实人物。
常见文件模式: 尾缀ckpt、pt
存放路径: \sd-webui-aki-v4\ models\ VAE
模子的切换:

Embedding/Textual lnversion/文本反转模子和Hypernetworks

Embeddings 和 Hypernetworks 都属于微调模子,但现在Hypernetworks已经不太用了。
Embeddings/Textual lnversion中文翻译过来叫文本反转,通过仅利用的几张图像,就可以向模子教授新的概念。用于个性化图像天生。Embeddings是界说新关键字以天生新人物或图片风格的小文件。它们很小,通常为10-100 KB。必须将它们与checkpoint模子一起利用。
Embeddings 由于训练简单,文件小,因此一度很受各人接待。而且Embeddings 利用方法很简单,在安装之后,只要在提示词中提到它就相当于调用了,很方便。但由于Embeddings利用的训练集较小,因此出来的图片常常只是神似,做不到”形似“,所以现在很多人还是喜欢利用LORA模子。而且Embeddings 是一级目录,每次打开webui时都要加载一遍,太多了会影响webui的“开机速率”(但是不影响运行速率)。
不外有一些Embeddings 还是值得安装,好比EasyNegative这个Embeddings,内里包罗了大量的负面词,可以减少你每次打一堆负面词的痛楚。
Embedding
常见文件模式: 尾缀pt
存放路径: \sd-webui-aki-v4\ embeddings
模子的切换通过文件名称来触发
Hypernetworks
常见文件模式: 尾缀pt
存放路径: \sd-webui-aki-v4\ models\ Hypernetworks
模子的切换通过文件名称来触发
DreamBooth模子

DreamBooth,可用于训练预调模子用的。是利用指定主题的图像举行演算,训练后可以让模子产生更精细和个性化的输出图像。
常见模式:尾缀ckpt、safetensors
常见巨细:2G-7G
最新版本的DreamBooth是可以把谁人Lora算法然后融合进来的
可以训练脚色、画风、物件等,利用方法和主模子相同
训练路径:

LyCORIS模子

此类模子也可以归为Lora模子,也是属于微调模子的一种。一般文件巨细在340M左右。差别的是训练方式与常见的lora差别,但效果似乎会更好不少。
其中本人较喜欢的“Miniature world style 微缩天下风格”就属于这类模子。

但要利用此类微调模子,必要先安装一个locon插件,直接将压缩包解压后放到StableDiffusion目录的extensions目录里。
插件地址
https://github.com/KohakuBlueleaf/a1111-sd-webui-locon

下载后直接解压缩在extensions中。

利用时注意,除了要将lora调入,还要在正向tag开头添加触发词
比方:这个微缩天下风格的lyCORIS的调用,正向描述语如下
mini\(ttp\), (8k, RAW photo, best quality, masterpiece:1.2), island, cinematic lighting,UHD,miniature, landscape, Crystal ball,on rock, lora:miniatureWorldStyle\_v10:0.8
小技巧

如果你下载了一个模子,却不知道怎么安装,打开这个网站
https://spell.novelai.dev/
把你下载的模子拖进去,立马就会帮你解析,告诉你应该放在那边。
不外,由于AI绘画日新月异,有的模子,网站大概还来不及网络和解析,会无法解读。

末了,如果你也对AI绘画感爱好的话,接待关注本专栏,关注AI期间社,也接待批评转发点赞分享。
关于AI绘画技术储备

学好 AI绘画 岂论是就业还是做副业赢利都不错,但要学会 AI绘画 还是要有一个学习规划。末了各人分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
   

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

美食家大橙子

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表