·1
一、本地部署 Stable Diffusion
前言
目前市面上比较权威，并能用于工作中的AI绘画软件其实就两款。一个叫[Midjourney]（简称MJ），另一个叫Stable-Diffusion（简称SD）。MJ必要付费使用，而SD开源免费，但是上手难度和学习本钱略大，并且非常吃电脑配置（显卡、内存）。
E和Midjourney相比，Stable Diffusion 最大的优势是开源，这意味着Stable Diffusion的潜力巨大、发展飞快。由于开源免费属性，SD 已经收获了大量活跃用户，开辟者社群已经为此提供了大量免费高质量的外接预练习模子（fine-tune）和插件，并且在持续维护更新。在第三方插件和模子的加持下，SD拥有比Midjourney更加丰富的个性化功能，在颠末使用者调教后可以天生更贴近需求的图片，甚至在 AI 视频特效、AI音乐天生等领域，Stable Diffusion 也占据了一席之地。
Stable Diffusion是一种潜伏扩散模子（Latent Diffusion Model），可以或许从文本描述中天生具体的图像。它还可以用于图像修复、图像绘制、文本到图像和图像到图像等任务。简单地说，我们只要给出想要的图片的笔墨描述在提Stable Diffusion就能天生符合你要求的传神的图像！
这份完整版的SD整合包已经上传CSDN，朋友们如果必要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
电脑配置
电脑配置最核心的关键点：看显卡、看内存、看硬盘、看CPU。其中最告急的是看显卡。N卡（英伟达Nvida独立显卡）首选，服从远超集显/AMD/Intel显卡和CPU渲染，最低10系起步，体验感佳用40系，显存最低4G，6G及格，上不封顶；内存最低8G，16G及格，上不封顶；硬盘可用空间最好有个500G朝上，固态最佳。
系统要求：支持 Win10/Win11/macOS（仅限Apple Silicon，Intel 版本的 Mac 无法调用 Radeon 显卡）和 Linux 系统，苹果版 SD 兼容的插件数目较少，功能性不及 Windows 与 Linux 电脑。
如果身边没有合适的电脑可以思量购买云主机，比如腾讯GPU云服务器。若无法使用独立显卡和云服务，亦可修改启动配置，使用CPU渲染（兼容性强，出图速度慢，必要16G以上内存）。
从图中可看出，与AMD或英特尔的任何产品相比， Nvidia 的GPU提供了杰出的性能–偶然是以巨大的优势。随着Torch的DLL修复到位，RTX 4090的性能比带有xformers的RTX 3090 Ti高出50%，而没有xformers的性能则高出43%。天生每张图片只必要三秒多。
安装方法
SD开源地址： https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki
目前各人普遍采用的Stable Diffusion Web UI是发布于开源程序分享网站 Github 的 Python 项目，宁静常软件安装方法有所差别，不是下载安装即可用的软件，必要准备执行情况、编译源码，针对差别操作系统（操作系统依靠）、差别电脑（硬件依靠）另有做些手工调整，这必要使用者拥有一定的程序开辟经验（可以现学），已经有很多大佬们写了具体的安装教程。
如果像我一样是小白不会装，现在可以直接使用大佬们做的一键启动程序包，比如国内@秋葉aaaki大大开辟的整合包，极大的降低了安装门槛（猛烈推荐！）
一键启动包只是封装了可视化的一键界面，不影响出图效果，只是降低了本地部署的门槛。
这份完整版的SD整合包已经上传CSDN，朋友们如果必要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
Nvidia 显卡用户须知：在使用SD前，请登录 Nvidia 官网 https://www.nvidia.cn/geforce/drivers/ 下载安装对应显卡最新版驱动程序，与 显卡支持的最新版 CUDA 驱动 。
启动SD
进入SD安装文件夹，双击 webui-user.bat，待其加载完成方可使用浏览器（Chrome/Edge）登录默认的加载IP [http://127.0.0.1:7860/]
界面汉化
如果必要中文语言包，可以下载如下中文语言包扩展，下载界面网址为： https://github.com/VinsonLaro/stable-diffusion-webui-chinese
方法1：通过WebUI拓展举行安装
1.打开stable diffusion webui，进入"Extensions"选项卡
2.点击"Install from URL"，注意"URL for extension’s git repository"下方的输入框
3.粘贴或输入本Git仓库地址 https://github.com/VinsonLaro/stable-diffusion-webui-chinese
4.点击下方的黄色按钮"Install"即可完成安装，然后重启WebUI(点击"Install from URL"左方的"Installed"，然后点击黄色按钮"Apply and restart UI"网页下方的"Reload UI"完成重启)
5.点击"Settings"，左侧点击"User interface"界面，在界面里最下方的"Localization (requires restart)“，选择"Chinese-All"或者"Chinese-English”
6.点击界面最上方的黄色按钮"Apply settings"，再点击右侧的"Reload UI"即可完成汉化
二、界面基础
了解界面
接下来是具体的使用方法简介。目前SD并不存在通行可靠的使用规范，每个人的电脑配置、需求都不尽相同，cpkd/Safetensors大模子、VAE、embeding、lora等AI模子、各类插件、提示词、输出参数的组合牵一发则动浑身，必要各人有足够的耐心查阅插件开辟者的阐明文档和来自 https://civitai.com/ 等分享网站的使用心得，各人可以先到civitai上搜索中意的图例，复用原作者的出图提示词、参数和模子，再以此修改，如许学习的效果最为直观。
文生图：根据文本提示天生图像
图生图：根据提供的图像作为范本、结合文本提示天生图像
更多：优化(清晰、扩展)图像
图片信息：显示图像根本信息,包含提示词和模子信息（除非信息被隐藏）
模子合并：把已有的模子按差别比例举行合并天生新模子
练习：根据提供的图片练习具有某种图像风格的模子
描述语分为正向/负向描述，它们也叫tag(标签）或prompt(提示词）
正面提示词：相比Midjourney必要写得更精准和细致，描述少就给AI更多自由发挥空间。
负面提示词：不想让SD天生的内容。
正向：masterpiece, best quality, 更多画质词，画面描述
反向：nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,根据画面产出加不想出现的画面。
天生下面的5个小图标（从左到右依次分别是）
- 复原前次天生图片的提示词（自动记录）
- 清空当前所有提示词
- 打开模子选择界面
- 应用选择的风格模板到当前的提示词
- 存档当前的正反向提示词
采样方法
1.建议根据自己使用的checkpoint使用脚本跑网格图（用自己关心的参数）然后选择自己想要的效果。
2.懒得对比：请使用DPM++ 2M或DPM++ 2M Karras（二次元图）或UniPC，想要点惊喜和变化，Euler a、DPM++ SDE、DPM++ SDE Karras（写实图）、DPM2 a Karras（注意调整对应eta值）
3.eta和sigma都是多样性相关的，但是它们的多样性来自步数的变化，寻求更大多样性的话应该关注seed的变化，这两项参数应该是在图片框架被选定后，再在此基础上做微调时使用的参数。
采样步数
稳定扩散通过从布满噪音的画布开始创建图像，并渐渐去噪以达到最终输出。此参数控制这些去噪步骤的数目。通常越高越好，但在一定水平上，我们使用的默认值是25个步骤。以下是不怜悯况下使用哪个步骤编号的一样平常指南：
- 如果您正在测试新的提示，并盼望获得快速效果来调整您的输入，请使用10-15个步骤
- 当您找到您喜欢的提示时，请将步骤增加到25
- 如果是有毛皮的动物或有纹理的主题，天生的图像缺少一些细节，尝试将其提高到40
面部修复：修复人物的面部，但优劣写实风格的人物开启面部修复大概导致面部崩坏。
平铺：天生一张可以平铺的图像
高分辨率重绘：使用两个步骤的过程举行天生，以较小的分辨率创建图像，然后在不改变构图的情况下改进其中的细节，选中该选项会有一系列新的参数，
其中告急的是：
放大算法：Latent 在许多情况下效果不错，但重绘幅度小于 0.5 后就不甚理想。ESRGAN_4x、SwinR 4x 对 0.5 以下的重绘幅度有较好支持。
放大倍数: 通常2倍即可
重绘幅度：决定算法对图像内容的保留水平。该值越高，放大后图像就比放大前图像差异越大。低 denoising 意味着修正原图，高 denoising 就和原图就没有大的相关性了。一样平常来讲阈值是 0.7 左右，凌驾 0.7 和原图根本上无关，0.3 以下就是稍微改一些，0什么都不会改变，1会得到一个完全差别的图像。具体的执行步骤为 重绘强度 * 重绘步数。
长宽尺寸(分辨率）
长宽尺寸并非数值越大越好，最佳的范围应在512至768像素之间，比如正方形图多是512_512和768_768，人像肖像 512x768，风景画 768×512，可按比例加大或减小，这个值必须是 8 的倍数。如果不盼望主题对象出现重复，应在此范围内选择适当的尺寸。如果必要更高分辨率的图片，建议先使用SD模子天生图片，然后再使用合适的模子举行upscale。
天生批次：每次天生图像的组数。一次运行天生图像的数目为天生批次 * 每批数目。
每批数目：同时天生多少个图像。增加这个值可以提高性能，但你也必要更多的 VRAM。图像总数是这个值乘以批次数。除 4090 等高级显卡以外通常保持为 1。
提示词相关性CFG：较高的数值将提高天生效果与提示的匹配度。
OpenArt上使用的默认CFG是7，这在创造力和天生你想要的东西之间提供了最佳均衡。通常不建议低于5。
CFG量表可以分为差别的范围，每个范围都适合差别的提示范例和目的
CFG 2 – 6：有创意，但大概太扭曲，没有遵照提示。对于简短的提示来说，可以很有趣和有用
CFG 710：推荐用于大多数提示。创造力和引导一代之间的良好均衡
CFG 10-15：当您确定您的提示是具体且非常清晰的，您盼望图像是什么样子时
CFG 16-20：除非提示非常具体，否则通常不推荐。大概影响同等性和质量
CFG >20：几乎无法使用
随机种子（Seed）:天生每张图片时的随机种子，这个种子是用来作为确定扩散初始状态的基础。不懂的话，用随机的即可。
提示词天生
开始不知道怎么写提示词，可以先参考优秀的风格模板作为起手式，还可以借助描述语工具和网站，多出图多研究，把握了出图规律，慢慢就可以自己写提示词啦，写提示词要尽大概写的具体。跑AI的过程就像抽卡，抽出一堆卡，选出你审美范畴里觉得好看的。
Prompt格式优化
第一段：画质tag，画风tag
第二段：画面主体，主体夸大，主体细节概括（主体可以是人、事、物、景）画面核心内容
第三段：画面场景细节，或人物细节，embedding tag。画面细节内容
第二段一样平常提供人数，人物主要特性，主要动作（一样平常置于人物之前），物体主要特性，主景或景色框架等
举个例子
(具体场景照旧要灵活应用，多尝试，找到合适自己的节奏和风格）
第一段：masterpiece, best quality, 4k, ( Pixar - style :1.4)
第二段：1boy,(Cute,handsome,wearing outdoor sportswear :0.7), 3D,(Face close-up :1.2), (at night, surrounded by glowing plants, flowers, flying fireflies, bonfires), (Ultra detailed, aesthetic, beautiful composition, rich bright colors, volumetric soft light).
第三段：Inspired by Alice in Wonderland, magic, fairy tales. unreal Engine, octane render, cuteness render, awe inspiring, beautiful, lora:blindbox_V1Mix:1
Prompt规则细节
\1. 越靠前的Tag权重越大。
\2. 天生图片的大小会影响Prompt的效果，图片越大必要的Prompt越多，不然Prompt会相互污染。
3.Stable-diffusion中，可以使用括号人工修改提示词的权重，方法如下：
(word) - 将权重提高 1.1 倍
((word)) - 将权重提高 1.21 倍（= 1.1 * 1.1）
[word] - 将权重降低至原先的 90.91%
(word:1.5) - 将权重提高 1.5 倍
(word:0.25) - 将权重淘汰为原先的 25%
请注意，权重值最好不要凌驾 1.5
\4. Prompt支持使用emoji，可通过添加emoji达到体现效果。如 形容心情， 可修手。
5.“+” ， “ AND” ， “|” 用法：“+”和“ AND ”都是用于连接短Tag，但AND两端要加空格。"+“约即是” and "；“|” 为循环绘制符号（融合符号）(Prompt A: w1)|(Prompt B: w2)
以上表达适用于WebUI，w1、w2为权重。AI会对A、 B两Prompt举行循环绘制。可往后无穷参加Prompt。
6.tag不一定是多么布满细节，只要模子稳定。小图+高分辨率重绘。800_400的图变成1600_800，初识小图淘汰崩坏概率。
7.关键词最好具有特异性，譬如 Anime(动漫)一词就相对泛化，而Jojo一词就能清晰地指向 Jojo动漫的画风。说话越不抽象越好，尽大概制止留下表明空间的说话。
三、了解模子
下载模子
这份完整版的模子已经上传CSDN，朋友们如果必要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
模子选择
如何选择合适模子是最告急的。
从你想画的风格（写实、二次元、卡通盲盒等）来选择大模子，再搭共同适的Lora。
1.Checkpoint
体积较大，也被称为大模子，差别的大模子使用差别的图片练习而成，对应差别的风格，相称于最底层的引擎。偶然候必要大模子+VAE+emb+Lora联合搭配使用以达到必要的效果。
下载的大模子可放置于SD文件夹/models/Stable-diffusion内。
2.Lora
Lora是特性模子，体积较小，是基于某个确定的脚色、确定的风格或者固定的动作练习而成的模子，可使用权重控制，确定性要远强于embedding。embedding和Lora有功能交集的部门，也有相互不可代替的地方。
在ckpt大模子上附加使用，对人物、姿势、物体体现较好。在webui界面的Additional Networks下勾线Enable启用，然后在Model下选择模子，并可用Weight调整权重。权重越大，该 Lora 的影响也越大。不建议权重过大（凌驾1.2），否则很容易出现扭曲的效果。
多个Lora模子混合使用可以起到叠加效果，譬如一个控制面部的Lora 共同一个控制画风的 Lora就可以天生具有特定画风的特定人物。因此可以使用多个专注于差别方面优化的Lora，分别调整权重，结合出自己想要实现的效果。
LoHA 模子是一种 LORA 模子的改进。
LoCon 模子也一种 LORA 模子的改进，泛化能力更强。
下载的Lora可放置于SD文件夹/models/Lora内。
3.VAE
VAE模子类似滤镜，对画面举行调色与微调，一样平常必要搭配相应的模子一起使用。（如果图片比较灰，颜色不太靓丽，就大概是没加载vae)
下载的VAE可放置于SD文件夹/models/VAE内。
4.Textual inversion（embedding）
关键词预设模子，即关键词打包，即即是预设好一篮子关键词a,b,c打包，进而来指代特定的对象/风格。也可以通过下载Textual inversion进利用用。
下载的embedding可放置于SD文件夹/embeddings内。
四、ControlNet
ControlNet使得SD从玩具变成做商业项目的神器，接下来会重中之重来具体解说一下。
ControlNet是斯坦福大学研究人员开辟的Stable Diffusion的扩展，使创作者可以或许轻松地控制AI图像和视频中的对象。它将根据边沿检测、草图处理或人体姿势等各种条件来控制图像天生。ControlNet可以概括为一种简单的稳定扩散微调方法。ControlNet的工作原理是将可练习的网络模块附加到稳定扩散模子的 U-Net （噪声推测器）的各个部门。Stable Diffusion 模子的权重是锁定的，在练习过程中它们是不变的。在练习期间仅修改附加模块。
安装
从github上找到并把网址填到扩展里安装，安装完后记得点击 Apply and restart UI
1.将ControlNet模子（.pt、.pth、.ckpt或.safetensors）放入models/ControlNet文件夹。
2.打开“txt2img”或“img2img”选项卡，写下您的提示。
3.按“革新模子”，选择要使用的模子。（若没有出现，请尝试重新加载/重新启动webui）
4.上传您的图像并选择预处理器，完成。
目前，它支持完整型号和修剪型号。使用extract_controlnet.py从原始.pth文件中提取controlnet。
预练习模子： https://huggingface.co/lllyasviel/ControlNet/tree/main/models
界面介绍
开启 :选中此框以启用ControlNet。
颜色反转：互换黑色和白色。比方，它可以在您上传涂鸦时使用。ControlNet 必要黑色配景和白色涂鸦。如果您使用白色配景的外部软件创建涂鸦，则必须使用此选项。如果您使用 ControlNet 的界面创建涂鸦，则不必要使用此选项。
RGB转为BGR :用于检测用户导入图像中的颜色信息。偶然图像中的颜色信息大概与扩展所盼望的差别。如果您上传图像并使用预处理，则无需选中此框。
低显存:这将减缓ETA进程，但有助于使用更少的计算空间(显存小于8 GB VRAM建议使用)，检查您是否用完了 GPU 内存，或者想要增加处理的图像数目。
推测模式:ControlNet自动辨认图像(不必要提示和负面提示)与选定的预处理器。它强制 ControlNet 编码器遵照输入控制图（如深度、边沿等)，纵然没有提示也是云云。使用此模式时使用更高的步进，比方50，但是这个效果不一定好。
权重（Weight)：代表使用 ControlNet 天生图片时被应用的权重占比。
引导介入时机（Guidance Start)：在理解此功能之前，我们应该先知道天生图片的 Sampling steps 采样步数功能，步数代表天生一张图片要革新计算多少次，Guidance Start(T) 设置为 0 即代表开始时就介入，默认为 0，设置为 0.5 时即代表 ControlNet 从 50% 步数时开始介入计算。
引导退出时机（Guidance End)：和引导介入时机相对应，如设置为1，则表现在100%计算完时才会退出介入也就是不退出，默认为 1，可调治范围 0-1，如设置为 0.8 时即代表从80% 步数时退出介入。
调整大小模式提供了调整ControlNet大小和上传图像的纵横比。
Just Resize:不保留纵横比的情况下，改变ControlNet图像的大小以匹配Txt2Img设置的宽度和高度。这包括拉伸或压缩图像以适应指定的尺寸。
Scale to Fit (Inner Fit):调整ControlNet图像的大小以适应Txt2Image的尺寸。它将调整图像的大小，直到它可以或许适应Txt2Image设置的宽度和高度。
Envelope (Outer Fit):调整Txt2Image的大小以适应ControlNet图像的尺寸。它将调整图像的大小，直到Txt2Image设置可以适合ControlNet图像。
画布宽度 和 画布高度 提供手动创建绘图或草图以，不上传任何图像（最好使用 Scribble 预处理器以获得良好的输出）。它会调整空白画布的大小来举行绘制，不会影响上传的原始图像。
预览图片处理效果：可以或许快速查看选择的预处理器是如何将上传的图像或绘图转换为 ControlNet的检测图。对在渲染输出图像之前尝试各种预处理器有用，可节流我们的时间。
隐藏处理效果：删除预览图像。
预处理器和模子是ControlNet的主要选项。
预处理器：用于对输入图像举行预处理，比方检测边沿、深度和法线贴图。None使用输入图像作为控制图。 根据所需的输出，用户可以选择相应的控制方法。
模子：如果您选择了预处理器，您通常会选择相应的模子。但是它并不限制你混合和匹配所有的预处理器和模子，但是混合多了就会产生负面效果，所以最好使用更加匹配的模子并且越少越好。ControlNet模子与在AUTOMATIC1111 GUI顶部选择的稳定扩散模子一起使用。
预处理器
下面我们介绍几个常用的 ControlNet，并在下面举例阐明如何使用它。
1、Canny边沿检测
Canny通过使用边沿检测器创建高对比度地区的轮廓来检测输入图像。线条可以捕获到非常具体的信息，但如果你的图像配景中有一些物体，它很大概会检测到不必要的物体。所以配景中物体越少效果越好。用于此预处理器的最佳模子是control_sd15_canny。
2、Depth & Depth Leres
这个预处理器有助于天生输入图像的深度估计。深度通常用于控制图像内物体的空间定位。浅色地区意味着它离用户更近，而深色地区则离用户更远。
在大图像时它大概会丢失图像内部的细节(面部心情等)。一样平常会与control_sd15_depth模子组合使用。Midas Resolution函数用于增加或淘汰detectmap中的大小和细节级别。它的级别越高，将使用更多的VRAM，但可以天生更高质量的图像，反之亦然。
Depth Leres有与Depth 相同的根本概念，但在地图中包含更广泛的范围。但偶然它会从图片中捕获了太多信息，大概会天生与原始图像略有差别的图像。所以最好先试用两种预处理器，然后决定哪一种。
3、HED (Holistically-Nested Edge Detection)
Hed可以在物体附近创建清晰和精细的边界，输出类似于Canny，但淘汰了噪声和更柔软的边沿。它的有效性在于可以或许捕获复杂的细节和轮廓，同时保留细节特性(面部心情、头发、手指等)。Hed预处理器可用于修改图像的风格和颜色。用于此预处理器的最佳模子是control_sd15_hed。
4、MLSD ( Mobile Line Segment Detection)
MLSD Preprocessor 最适合天生强有力的线条，这些线条可以或许检测出必要独特和刚性轮廓的修建和其他人造作品。但是它不适用于处理非刚性或弯曲的物体。MLSD适用于天生室内布局或修建结构，因为它可以突出直线和边沿。用于此预处理器的最佳模子是control_sd15_mlsd。
5、Normal map
法线图使用了三种主要颜色(红、绿、蓝)，通过差别的角度来精确定位物体的粗糙度和光滑水平。它天生法线图的根本估计，可以保留相称多的细节，但大概会产生意想不到的效果，因为法线图完全来自图像，而不是在3D建模软件中构建的。
法线图有利于突出复杂的细节和轮廓，并且在定位对象方面也很有效，特别是在接近度和间隔方面。“Normal Background Threshold”用于调整配景成分。设置一个更高的阈值可以移除配景的远处部门(将其混合成紫色)。降低阈值将命令AI保留甚至显示额外的配景元素。用于此预处理器的最佳模子是control_sd15_normal。
6、OpenPose
这个预处理器天生了一个根本的骨骼火柴人形象。这种技能被广泛采用，因为多个 OpenPose骨架可以组合成一个图像，这有助于引导稳定扩散天生多个同等的主题。骨架图有很多关节点，每个点代表如下图所示。
7、Scribble
涂鸦的目的是从简单的优劣线条画和草图天生图像。用户也可以使用“Canvas”选项创建特定大小的空白画布，用于手动素描（也可以直接上传图像）。如果草图和绘图由白色配景上的黑线组成，则必要选中“Invert Input Color”复选框。用于这个预处理器的最佳模子是control_sd15_openpose。
8、Segmentation
分割预处理器检测并将上传的图像分割为同一图像内的段或地区。该模子在天生一组新的图像时，将detectmap图像应用于文本提示。用于此预处理器的最佳模子是control_sd15_seg。
附录：预处理器与对应模子清单
总结
使用AI绘图工具Stable Diffusion确实能提高美术工作者的生产服从，但是请记着：人工智能，没有人工就没有智能。Stable Diffusion并不是简单易上手的APP，我们必要花费一定的时间和精神去学习和不停调试，才气使其真正为我们所用，高效产出效果符合需求的图片。
最后，我为各人简单罗列一下使用SD的几项核心能力：
1.Github使用能力，使用者在纯熟把握Github开源项目的安装、调参、排错、编程情况设置等技能后，就不会在SD报错时魂飞魄散了。
2.基础出图调试能力，这项能力可以或许让使用者无需帮忙就能自行摸索稳定输出可用的图片。
3.Controlnet构图能力，基于Controlnet的构图控制是美术从业者驾驭SD的缰绳，不会用Controlnet，你只会被随机噪声牵着走。
4.学习插件并组合使用的能力。
5.Lora等小模子的练习能力（进阶）。
这份完整版的SD全套资料已经上传CSDN，朋友们如果必要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
如本文对您有资助，欢迎将其分享给必要的朋友～关注我，接下来会分享更多关于Stable Diffusion的进阶内容和商业落地项目。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
