IT评测·应用市场-qidao123.com技术社区

标题: 【进阶】Stable Diffusion 插件 Controlnet 安装使用教程（图像精准控制） [打印本页]

作者: 美食家大橙子 时间: 2024-12-29 15:53
标题: 【进阶】Stable Diffusion 插件 Controlnet 安装使用教程（图像精准控制）
Stable Diffusion WebUI 的绘画插件 Controlnet 最近更新了 V1.1 版本，发布了 14个优化模型，并新增了多个预处理器，让它的功能比之前更加好用了，最近几天又一连更新了3 个新 Reference 预处理器，可以直接根据图像生产风格雷同的变体。

使用 Reference only预处理器生成一张图片的多个变体
因为 Controlnet在更新时涉及到多个网页里的差别的资源，这里帮各人梳理一下更新V1.1 所必要的各种资源，以及怎样有效的安装 Controlnet 插件。如果你还没有安装 Stable Diffusion WebUI，可以阅读下面这篇文章，了解安装 WebUI 必要的电脑配置，以及下载相关的一键安装包。
一、安装 Controlnet 插件
Controlnet 插件安装网址：https://github.com/Mikubill/sd-webui-controlnet
①打开 WebUI，点击“扩展”选项卡，选择“从网址安装”，复制（https://github.com/Mikubill/sd-webui-controlnet.git ），粘贴在第一行的“拓展的 git 堆栈网址”中。点击“安装”按钮，期待十几秒后，在下方看到一行小字“Installedinto stable-diffusion-webui\extensions\sd-webui-controlnet. Use Installed tab to restart”，表现安装成功。
（从网址安装可以包管插件的更新能在 WebUI 中自动表现，如果是下载压缩包文件放进根目录，就无法自动更新）

②点击左侧的“已安装”选项卡，单击“查抄更新”，期待进度条完成；然后单击“应用并重新启动 UI”；末了完全关闭 WebUI
程序，重新启动进入（也可以重启电脑），我们就可以在 WebUI 主界面中下方看到 Controlnet 的选项。

③如果安装后 Controlnet 界面只有一个选项卡，你可以点击“设置”界面，找到 Controlnet，将 Multi Controlnet
中设置你想要的值，点击保存设置并重启 WebUI。

④此时我们可以打开 WebUI 地点的文件夹，进入 Controlnet 的根目录，详细路径为 C:\Stable Diffusion\novelai-
webui-aki-v3\extensions\sd-webui-controlnet，打开 models 文件夹，里面有 38 个尾缀为.yaml
的文件，最新的 Reference 系列也在其中；再点开 WebUI 中 Controlnet
中的预处理器（preprocessors）列表，会发现二者的内容完全一致。因为 yaml 文件就是预处理器文件，它们规定 Controlnet
提取图像的那些特征。

到这一步我们已经成功安装了 Controlnet 插件，以及提取预处理器所必要的 .yaml 文件，下一步就是安装模型（models），模型的文件尾缀为pth，它的作用是将图像特征执行到我们的图像生成过程中，Controlnet V1.1 的模型必要我们到 Huggingface 中去下载。
二、安装 V1.1 新模型
Controlnet V1.1
模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main（文末有安装包）
在这个 Huggingface 页面中，我们只必要下载全部 14 个.pth 尾缀的模型文件，下载方式为点击“文件巨细”右侧的下载小箭头。下载完成后，将14 个文件放入 .yaml 地点的文件夹，即 C:\Stable Diffusion\novelai-webui-aki-v3\extensions\sd-webui-controlnet\models。

三、安装 T21 模型
T2I- Adapter 模型下载
：https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models（文末的链接里有 T2I-
Adapter 的 Color、Style 模型）
T2I- Adapter 详细先容：https://github.com/TencentARC/T2I-Adapter
ControlNet V1.1 支持目前所有可用的模型和预处理器，包罗 T2I- Adapter 模型。T2I- Adapter 模型由
TencentARC 研发，和 ControlNet 的模型作用雷同，都是可以精准控制图像生成效果，T2I- Adapter 的模型可在
ControlNet 中使用，而且二者模型功能有重合。
ControlNet 插件的自带 T2I- Adapter 的 Color、Sketch 和 style 预处理器，为 sd14 版本，以是我们可以只下载
Color 和 Style 对应的模型（Sketch 功能和 softedge 差不多，我就不重复下载了），记得要选择对应的 sd14
的版本，不然模型无法生效。这两个模型我都放进都文末的链接里了。

下载完成后，仍旧是放入 Controlnet 根目录的 models 文件夹中，然后在 WebUI 的 Controlnet
中，按“模型”选项右侧蓝色小图标刷新模型，就能看与我们下载的全部 16 个模型了。

四、试用 V1 .1 新功能
Controlnet V1 .1 更新先容：https://github.com/lllyasviel/ControlNet-v1-1-nightly
Controlnet V1 .1 在 V1.0
的基础上对模型举行了优化，并新增了不少新的预处理器，还进一步规范了模型的命名，方便各人辨认模型的差别版本和状态，详细见下图：

差别模型的作用和使用方法，Controlnet 官方的在相关 Github 界面中都有详细先容，篇幅所限我就不一一赘述了。我选了 3
个功能做演示，让各人快速熟悉 Controlnet V1.1 的用法。
1. Reference 预处理器
Reference 是官方最新推出的预处理器，共有三种型号 Reference_only、Reference_adain 和
Reference_adain+atten。它只有 yam l 配置文件，没有 pth
模型文件，可以根据上传的图像生成雷同的变体，来看一下它的详细使用效果。
① 在 Controlnet 上传一张图片，勾选启用，预处理器选择 Reference_only，其他参数默认。

② 选择一个大模型( 因为要生成写实人像，以是我选择写实风模型 RealisticVisionV20），输入提示词“best quality, A
handsome man wearing a (white T-Shirt), angry”，步数 25，采样方法 EularA，画面尺寸
512*768px，然后点击生成。
③ 生成图与原图风格内容雷同，但是人物的表情已经在 angry 的作用下发生变化了。我以同样的参数又测试了 Reference_adain 和
Reference_adain+atten，可以看出 only 和 adain+atten 比力贴近原图形象，adain 变化最明显。

④ 使用 Reference 时我们必要了解的一项参数是“Style Fidelity”，意思是风格保真度。
我用 adain+atten 处理器和固定的种子值，分别生成了 Style Fidelity 为 0/0.5/1 的图像。Style Fidelity 为
0 时，生成图像的色调、人物的衣着、背景与原图差异很明显，人物的表情更符合提示词；Style Fidelity 为 1
时，图像的色调和人物五官和原图非常相似，甚至提示词 angry 已经不起作用的，人物是微笑的。以是 Style Fidelity
数值越高，生成的图像就越像原图。

Reference 预处理器必要在高于 1.1.171 的更新中使用，官方推荐的两个参数：
Reference_only / Style Fidelity: 0.5 发起作为默认值，出图效果稳定
Reference_adain+attn/ Style Fidelity: 1.0 是目前最先辈的，值得尝试，但不发起作为默认值
2. Tile 磁贴
Tile 模型的作用是可以忽略原图的细节，根据现有像素和提示词生成新的细节，目前主要作用是将严峻模糊的图片放大并变得高清。我们以一张 64x64 px
的图片看一下它效果。
① 在 Controlnet 上传一张图片，勾选启用，预处理器选择
tile_resample，模型选择对应的control_v11f1e_sd15_tile，其他参数默认。

② 选择一个大模型( 我用的写实风模型 realisticVisionV20），输入提示词“ best quality, a cute dog on
grassland”，步数25，采样方法 EularA，画面尺寸512*512px，生成批次2，固定种子值 12345，
然后点击点击生成，末了得到了2张非常高清的图像，只是细节上有轻微差别。

③ 我又用几种差别的图像放大工具对 64x64px 的原图举行放大，得到的结果如下：

由于 64x64 px 分辨过于低，用一样平常放大工具的极限放大 4 倍也只有 256*256px；而且原图的像素值太少，以是图像即使变大，看着仍旧模糊。而
Tile 模型则可以再有限像素值的基础上，分块扩散画面的内容，终极生成与原图相似且极为清楚的图片。
Tile 模型还有一个特点：当提示词与给定的图像不符适时，Tile
会忽略提示词的影响，转而自动辨认图块内部的内容，并增长辨认语义的影响，从而生成与图块相似的图像。
下图是官方给的一个示例，提示词是““a handsome man”，指定的图块里却是一片树叶，而 Tile
的生成结果也是将树叶放大了，没有在树叶里再加一个帅哥，这说明 Tile 自动辨认的图块的内容是“树叶”并举行了处理。

三、T2I- Adapter Style
末了给各人先容一非常有意思的 T2I- Adapter Style 模型，它可以将一张图片的风格迁移到另一张图片上。我成功用 Style
模型将一张构筑照片转为赛博朋克风的图片，详细操纵如下：
① 在 Controlnet 中点击 Controlnet Unit 0，上传一张 512*768 px 的构筑图片，我们称为主图。勾选启用，预处理器选择
mlsd，并选择对应的 mlsd 模型，以固定图像额主体结构。点击预处理器旁的爆炸小按钮，预览出图效果。

②点开 Controlnet Unit 1, 上传一张 512*768 px 的霓虹光效图片，称为副图。勾选启用，预处理器选择
t2ia_style_clipvision，并选择对应的 style 模型。

③ 选择一个大模型（我用的是 realisticVisionV20），提示词可以不写，步数25，图像尺寸 512*768
px，生成批次2，点击生成。终极效果图如下，霓虹光效的风格已经完美迁移到构筑照片上了。因为使用了 mlsd 模型举行结构控制，原图的构筑结构保留得很完整。

④我将 Controlnet Unit 1
的霓虹图像换成了一张动漫风格的图像，看看能不能将原图构筑变成二次元风格，结果并不理想（下图二），想了想发现可能是大模型不对
，于是把写实风的realisticVisionV20 改成了二次元风的 AnythingV3模型，配对的 VAE模型为 vae-ft-
mse-840000-ema-pruned ，效果就好了很多。

使用 T2I- Adapter Style 模型必要注意：
担当风格改变的主图放在 Controlnet Unit 0，提供风格的副图放在 Controlnet Unit 1，次序不能颠倒，不然会影响出图效果。
主图、副图、终极生成图像的尺寸要保持一致。
大模型的风格要与副图（提供风格的图片）的风格一致，才能得到最好的效果。
AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，无需自行查找，有必要的小同伴文末扫码自行获取。
t Unit 0，提供风格的副图放在 Controlnet Unit 1，次序不能颠倒，不然会影响出图效果。
主图、副图、终极生成图像的尺寸要保持一致。
大模型的风格要与副图（提供风格的图片）的风格一致，才能得到最好的效果。
AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，无需自行查找，有必要的小同伴文末扫码自行获取。
Stable Diffusion 最强提示词手册