【进阶】Stable Diffusion 插件 Controlnet 安装使用教程（图像精准控制）
Stable Diffusion WebUI 的绘画插件 Controlnet 最近更新了 V1.1 版本，发布了 14个优化模型，并新增了多个预处理器，让它的功能比之前更加好用了，最近几天又一连更新了3 个新 Reference 预处理器，可以直接根据图像生产风格雷同的变体。https://img-blog.csdnimg.cn/img_convert/316ac578b9a0b44f24bab8f45a583e32.jpeg
使用 Reference only预处理器生成一张图片的多个变体
因为 Controlnet在更新时涉及到多个网页里的差别的资源，这里帮各人梳理一下更新V1.1 所必要的各种资源，以及怎样有效的安装 Controlnet 插件。如果你还没有安装 Stable Diffusion WebUI，可以阅读下面这篇文章，了解安装 WebUI 必要的电脑配置，以及下载相关的一键安装包。
一、安装 Controlnet 插件
Controlnet 插件安装网址：https://github.com/Mikubill/sd-webui-controlnet
①打开 WebUI，点击“扩展”选项卡，选择“从网址安装”，复制（https://github.com/Mikubill/sd-webui-controlnet.git ），粘贴在第一行的“拓展的 git 堆栈网址”中。点击“安装”按钮，期待十几秒后，在下方看到一行小字“Installedinto stable-diffusion-webui\extensions\sd-webui-controlnet. Use Installed tab to restart”，表现安装成功。
（从网址安装可以包管插件的更新能在 WebUI 中自动表现，如果是下载压缩包文件放进根目录，就无法自动更新）
https://img-blog.csdnimg.cn/img_convert/612d63881be336059ceb168dbdb1b461.jpeg
②点击左侧的“已安装”选项卡，单击“查抄更新”，期待进度条完成；然后单击“应用并重新启动 UI”；末了完全关闭 WebUI
程序，重新启动进入（也可以重启电脑），我们就可以在 WebUI 主界面中下方看到 Controlnet 的选项。
https://img-blog.csdnimg.cn/img_convert/cb62d3158ed0c155864a57a029892da8.jpeg
③如果安装后 Controlnet 界面只有一个选项卡，你可以点击“设置”界面，找到 Controlnet，将 Multi Controlnet
中设置你想要的值，点击保存设置并重启 WebUI。
https://img-blog.csdnimg.cn/img_convert/cef79d6ea98da228a760ad3cd6c0cfd5.jpeg
④此时我们可以打开 WebUI 地点的文件夹，进入 Controlnet 的根目录，详细路径为 C:\Stable Diffusion\novelai-
webui-aki-v3\extensions\sd-webui-controlnet，打开 models 文件夹，里面有 38 个尾缀为.yaml
的文件，最新的 Reference 系列也在其中；再点开 WebUI 中 Controlnet
中的预处理器（preprocessors）列表，会发现二者的内容完全一致。因为 yaml 文件就是预处理器文件，它们规定 Controlnet
提取图像的那些特征。
https://img-blog.csdnimg.cn/img_convert/d0c3cd9b42042814e552b02508eeb951.jpeg
到这一步我们已经成功安装了 Controlnet 插件，以及提取预处理器所必要的 .yaml 文件，下一步就是安装模型（models），模型的文件尾缀为pth，它的作用是将图像特征执行到我们的图像生成过程中，Controlnet V1.1 的模型必要我们到 Huggingface 中去下载。
二、安装 V1.1 新模型
Controlnet V1.1
模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main（文末有安装包）
在这个 Huggingface 页面中，我们只必要下载全部 14 个.pth 尾缀的模型文件，下载方式为点击“文件巨细”右侧的下载小箭头。下载完成后，将14 个文件放入 .yaml 地点的文件夹，即 C:\Stable Diffusion\novelai-webui-aki-v3\extensions\sd-webui-controlnet\models。
https://img-blog.csdnimg.cn/img_convert/c2eaded8783f44f913c7c650f2ddc07d.jpeg
三、安装 T21 模型
T2I- Adapter 模型下载
：https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models（文末的链接里有 T2I-
Adapter 的 Color、Style 模型）
T2I- Adapter 详细先容：https://github.com/TencentARC/T2I-Adapter
ControlNet V1.1 支持目前所有可用的模型和预处理器，包罗 T2I- Adapter 模型。T2I- Adapter 模型由
TencentARC 研发，和 ControlNet 的模型作用雷同，都是可以精准控制图像生成效果，T2I- Adapter 的模型可在
ControlNet 中使用，而且二者模型功能有重合。
ControlNet 插件的自带 T2I- Adapter 的 Color、Sketch 和 style 预处理器，为 sd14 版本 ，以是我们可以只下载
Color 和 Style 对应的模型（Sketch 功能和 softedge 差不多，我就不重复下载了），记得要选择对应的 sd14
的版本，不然模型无法生效。这两个模型我都放进都文末的链接里了。
https://img-blog.csdnimg.cn/img_convert/ce37eae71eef4a65fbdb9e441b23f0fe.jpeg
下载完成后，仍旧是放入 Controlnet 根目录的 models 文件夹中，然后在 WebUI 的 Controlnet
中，按“模型”选项右侧蓝色小图标刷新模型，就能看与我们下载的全部 16 个模型了。
https://img-blog.csdnimg.cn/img_convert/24561289ee785d42ab8605e78b3e067a.jpeg
四、试用 V1 .1 新功能
Controlnet V1 .1 更新先容：https://github.com/lllyasviel/ControlNet-v1-1-nightly
Controlnet V1 .1 在 V1.0
的基础上对模型举行了优化，并新增了不少新的预处理器，还进一步规范了模型的命名，方便各人辨认模型的差别版本和状态，详细见下图：
https://img-blog.csdnimg.cn/img_convert/d3de327484a46281bdc66bcb531f8512.jpeg
差别模型的作用和使用方法，Controlnet 官方的在相关 Github 界面中都有详细先容，篇幅所限我就不一一赘述了。我选了 3
个功能做演示，让各人快速熟悉 Controlnet V1.1 的用法。
1. Reference 预处理器
Reference 是官方最新推出的预处理器，共有三种型号 Reference_only、Reference_adain 和
Reference_adain+atten。它只有 yam l 配置文件，没有 pth
模型文件，可以根据上传的图像生成雷同的变体，来看一下它的详细使用效果。
① 在 Controlnet 上传一张图片，勾选启用，预处理器选择 Reference_only，其他参数默认。
https://img-blog.csdnimg.cn/img_convert/82dc656f6185ee7643b39b7c0d813da9.jpeg
② 选择一个大模型( 因为要生成写实人像，以是我选择写实风模型 RealisticVisionV20），输入提示词“best quality, A
handsome man wearing a (white T-Shirt), angry”，步数 25，采样方法 EularA，画面尺寸
512*768px，然后点击生成。
③ 生成图与原图风格内容雷同，但是人物的表情已经在 angry 的作用下发生变化了。我以同样的参数又测试了 Reference_adain 和
Reference_adain+atten，可以看出 only 和 adain+atten 比力贴近原图形象，adain 变化最明显。
https://img-blog.csdnimg.cn/img_convert/9168f9787e596f0b0b35fd713fd4d872.jpeg
④ 使用 Reference 时我们必要了解的一项参数是“Style Fidelity”，意思是风格保真度。
我用 adain+atten 处理器和固定的种子值，分别生成了 Style Fidelity 为 0/0.5/1 的图像。Style Fidelity 为
0 时，生成图像的色调、人物的衣着、背景与原图差异很明显，人物的表情更符合提示词；Style Fidelity 为 1
时，图像的色调和人物五官和原图非常相似，甚至提示词 angry 已经不起作用的，人物是微笑的。以是 Style Fidelity
数值越高，生成的图像就越像原图。
https://img-blog.csdnimg.cn/img_convert/333b4807e759b6efb143725a4641f519.jpeg
Reference 预处理器必要在高于 1.1.171 的更新中使用，官方推荐的两个参数：
Reference_only / Style Fidelity: 0.5 发起作为默认值，出图效果稳定
Reference_adain+attn/ Style Fidelity: 1.0 是目前最先辈的，值得尝试，但不发起作为默认值
2. Tile 磁贴
Tile 模型的作用是可以忽略原图的细节，根据现有像素和提示词生成新的细节，目前主要作用是将严峻模糊的图片放大并变得高清。我们以一张 64x64 px
的图片看一下它效果。
① 在 Controlnet 上传一张图片，勾选启用，预处理器选择
tile_resample，模型选择对应的control_v11f1e_sd15_tile，其他参数默认。
https://img-blog.csdnimg.cn/img_convert/5d9e7bef4c2a2e5d75da6f9a7af194f9.jpeg
② 选择一个大模型( 我用的写实风模型 realisticVisionV20），输入提示词“ best quality, a cute dog on
grassland”，步数25，采样方法 EularA，画面尺寸512*512px，生成批次2，固定种子值 12345，
然后点击点击生成，末了得到了2张非常高清的图像，只是细节上有轻微差别。
https://img-blog.csdnimg.cn/img_convert/63d851b9ec10518f032f1aef433e3b94.jpeg
③ 我又用几种差别的图像放大工具对 64x64px 的原图举行放大，得到的结果如下：
https://img-blog.csdnimg.cn/img_convert/4f5d5d4d08291373ab23973ff67beb72.jpeg
由于 64x64 px 分辨过于低，用一样平常放大工具的极限放大 4 倍也只有 256*256px；而且原图的像素值太少，以是图像即使变大，看着仍旧模糊。而
Tile 模型则可以再有限像素值的基础上，分块扩散画面的内容，终极生成与原图相似且极为清楚的图片。
Tile 模型还有一个特点：当提示词与给定的图像不符适时，Tile
会忽略提示词的影响，转而自动辨认图块内部的内容，并增长辨认语义的影响，从而生成与图块相似的图像。
下图是官方给的一个示例，提示词是““a handsome man”，指定的图块里却是一片树叶，而 Tile
的生成结果也是将树叶放大了，没有在树叶里再加一个帅哥，这说明 Tile 自动辨认的图块的内容是“树叶”并举行了处理。
https://img-blog.csdnimg.cn/img_convert/d5725112e76f8a9b53456866eeece738.jpeg
三、T2I- Adapter Style
末了给各人先容一非常有意思的 T2I- Adapter Style 模型，它可以将一张图片的风格迁移到另一张图片上。我成功用 Style
模型将一张构筑照片转为赛博朋克风的图片，详细操纵如下：
① 在 Controlnet 中点击 Controlnet Unit 0，上传一张 512*768 px 的构筑图片，我们称为主图。勾选启用，预处理器选择
mlsd，并选择对应的 mlsd 模型，以固定图像额主体结构。点击预处理器旁的爆炸小按钮，预览出图效果。
https://img-blog.csdnimg.cn/img_convert/565d6dafc253af7143365c7bdc3f3622.jpeg
②点开 Controlnet Unit 1, 上传一张 512*768 px 的霓虹光效图片，称为副图。勾选启用，预处理器选择
t2ia_style_clipvision，并选择对应的 style 模型。
https://img-blog.csdnimg.cn/img_convert/c68608f8b017d7cb81de5df395b4c96d.jpeg
③ 选择一个大模型（我用的是 realisticVisionV20），提示词可以不写，步数25，图像尺寸 512*768
px，生成批次2，点击生成。终极效果图如下，霓虹光效的风格已经完美迁移到构筑照片上了。因为使用了 mlsd 模型举行结构控制，原图的构筑结构保留得很完整。
https://img-blog.csdnimg.cn/img_convert/41e4de4f988a94a431198e547a4188dd.jpeg
④我将 Controlnet Unit 1
的霓虹图像换成了一张动漫风格的图像，看看能不能将原图构筑变成二次元风格，结果并不理想（下图二），想了想发现可能是大模型不对
，于是把写实风的realisticVisionV20 改成了 二次元风的 AnythingV3模型，配对的 VAE模型为 vae-ft-
mse-840000-ema-pruned ，效果就好了很多。
https://img-blog.csdnimg.cn/img_convert/cf075d09d6121ee7ec3e812366fdcd55.jpeg
使用 T2I- Adapter Style 模型必要注意：
担当风格改变的主图放在 Controlnet Unit 0，提供风格的副图放在 Controlnet Unit 1，次序不能颠倒，不然会影响出图效果。
主图、副图、终极生成图像的尺寸要保持一致。
大模型的风格要与副图（提供风格的图片）的风格一致，才能得到最好的效果。
AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，无需自行查找，有必要的小同伴文末扫码自行获取。
t Unit 0，提供风格的副图放在 Controlnet Unit 1，次序不能颠倒，不然会影响出图效果。
主图、副图、终极生成图像的尺寸要保持一致。
大模型的风格要与副图（提供风格的图片）的风格一致，才能得到最好的效果。
AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，无需自行查找，有必要的小同伴文末扫码自行获取。
Stable Diffusion 最强提示词手册
[*]Stable Diffusion先容
[*]OpenArt先容
[*]提示词（Prompt） 工程先容
[*]…
https://img-blog.csdnimg.cn/3a74d80bd4914e4c8b5796efbab576bc.png
第一章、提示词格式
[*]提问引导
[*]示例
[*]单词的次序
[*]…
https://img-blog.csdnimg.cn/c4fc7a8803b04678b3a05211bb502638.png
有必要的朋侪，可以点击下方卡片免费领取！
第二章、修饰词（Modifiers）
[*]Photography/摄影
[*]Art Mediums/艺术媒介
[*]Artists/艺术家
[*]Illustration/插图
[*]Emotions/情感
[*]Aesthetics/美学
[*]…
https://img-blog.csdnimg.cn/2fb4dcbfa1914c9aa21ad7b9bc5e441f.png
https://img-blog.csdnimg.cn/4db75ac45af14d2681ec494cb744c872.png
第三章、 Magic words（咒语）
[*]Highly detailed/高细节
[*]Professional/专业
[*]Vivid Colors/鲜艳的颜色
[*]Bokeh/背景虚化
[*]Sketch vs Painting/素描 vs 绘画
[*]…
https://img-blog.csdnimg.cn/fcf790594c3b418a91e191bf561049c5.png
第四章、Stable Diffusion参数
[*]Resolution/分辨率
[*]CFC/提词相关性
[*]Step count/步数
[*]Seed/种子
[*]Sampler/采样
[*]反向提示词(Prompt)
https://img-blog.csdnimg.cn/08738682623643e69b02ae6f13eedc05.png
第5章 img2img（图生图）,in/outpainting（扩展/重绘)
[*]将草图转化为专业艺术作品
[*]风格转换
[*]lmg2lmg 变体
[*]Img2lmg+多个AI题目
[*]lmg2lmg 低强度变体
[*]重绘
[*]扩展/裁剪
[*]…
第6章 重要提示
[*]词语的次序和词语本身一样重要
[*]不要忘记常规工具
[*]反向提示词(Prompt)
[*]…
第7章 OpenArt展示
[*]提示词 (Prompt)
[*]案例展示
[*]…
篇幅有限，这里就不一一展示了，有必要的朋侪可以点击下方的卡片举行领取！
https://i-blog.csdnimg.cn/direct/d889c8133e3c46f7a57cc0c83f084afc.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]