qidao123.com技术社区-IT企服评测·应用市场

标题: 【AI绘画】Stable Diffusion 插件 Controlnet 安装利用教程（图像精准控制 [打印本页]

作者: 大连密封材料 时间: 2024-11-2 14:00
标题: 【AI绘画】Stable Diffusion 插件 Controlnet 安装利用教程（图像精准控制
大家好，我是木木。
Stable Diffusion WebUI 的绘画插件 Controlnet 近来更新了 V1.1 版本，发布了 14 个优化模子，并新增了多个预处置惩罚器，让它的功能比之前更加好用了，近来几天又连续更新了 3 个新 Reference 预处置惩罚器，可以直接根据图像生产风格类似的变体。

利用 Reference only 预处置惩罚器天生一张图片的多个变体
因为 Controlnet 在更新时涉及到多个网页里的不同的资源，这里帮大家梳理一下更新 V1.1 所需要的各种资源，以及如何有效的安装 Controlnet 插件。如果你还没有安装 Stable Diffusion WebUI，可以阅读下面这篇文章，相识安装 WebUI 需要的电脑设置，以及下载相关的一键安装包。
一、安装 Controlnet 插件
Controlnet 插件安装网址：https://github.com/Mikubill/sd-webui-controlnet
①打开 WebUI，点击“扩展”选项卡，选择“从网址安装”，复制（https://github.com/Mikubill/sd-webui-controlnet.git ），粘贴在第一行的“拓展的 git 仓库网址”中。点击“安装”按钮，等候十几秒后，在下方看到一行小字“Installed into stable-diffusion-webui\extensions\sd-webui-controlnet. Use Installed tab to restart”，表示安装乐成。
（从网址安装可以保证插件的更新能在 WebUI 中主动显示，如果是下载压缩包文件放进根目次，就无法主动更新）

②点击左侧的“已安装”选项卡，单击“查抄更新”，等候进度条完成；然后单击“应用并重新启动 UI”；最后完全关闭 WebUI 程序，重新启动进入（也可以重启电脑），我们就可以在 WebUI 主界面中下方看到 Controlnet 的选项。

③如果安装后 Controlnet 界面只有一个选项卡，你可以点击“设置”界面，找到 Controlnet，将 Multi Controlnet 中设置你想要的值，点击保存设置并重启 WebUI。

④此时我们可以打开 WebUI 所在的文件夹，进入 Controlnet 的根目次，详细路径为 C:\Stable Diffusion\novelai-webui-aki-v3\extensions\sd-webui-controlnet，打开 models 文件夹，内里有 38 个尾缀为.yaml 的文件，最新的 Reference 系列也在其中；再点开 WebUI 中 Controlnet 中的预处置惩罚器（preprocessors）列表，会发现二者的内容完全同等。因为 yaml 文件就是预处置惩罚器文件，它们规定 Controlnet 提取图像的那些特性。

到这一步我们已经乐成安装了 Controlnet 插件，以及提取预处置惩罚器所需要的 .yaml 文件，下一步就是安装模子（models），模子的文件尾缀为 pth，它的作用是将图像特性执行到我们的图像天生过程中，Controlnet V1.1 的模子需要我们到 Huggingface 中去下载。
二、安装 V1.1 新模子
Controlnet V1.1 模子下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main（文末有安装包）
在这个 Huggingface 页面中，我们只需要下载全部 14 个.pth 尾缀的模子文件，下载方式为点击“文件巨细”右侧的下载小箭头。下载完成后，将 14 个文件放入 .yaml 所在的文件夹，即 C:\Stable Diffusion\novelai-webui-aki-v3\extensions\sd-webui-controlnet\models。

三、安装 T21 模子
T2I- Adapter 模子下载：https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models（文末的链接里有 T2I- Adapter 的 Color、Style 模子）
T2I- Adapter 详细先容：https://github.com/TencentARC/T2I-Adapter
ControlNet V1.1 支持目前全部可用的模子和预处置惩罚器，包罗 T2I- Adapter 模子。T2I- Adapter 模子由 TencentARC 研发，和 ControlNet 的模子作用类似，都是可以精准控制图像天生效果，T2I- Adapter 的模子可在 ControlNet 中利用，而且二者模子功能有重合。
ControlNet 插件的自带 T2I- Adapter 的 Color、Sketch 和 style 预处置惩罚器，为 sd14 版本，以是我们可以只下载 Color 和 Style 对应的模子（Sketch 功能和 softedge 差不多，我就不重复下载了），记得要选择对应的 sd14 的版本，不然模子无法生效。这两个模子我都放进都文末的链接里了。

下载完成后，仍旧是放入 Controlnet 根目次的 models 文件夹中，然后在 WebUI 的 Controlnet 中，按“模子”选项右侧蓝色小图标革新模子，就能看与我们下载的全部 16 个模子了。

四、试用 V1 .1 新功能
Controlnet V1 .1 更新先容：https://github.com/lllyasviel/ControlNet-v1-1-nightly
Controlnet V1 .1 在 V1.0 的基础上对模子举行了优化，并新增了不少新的预处置惩罚器，还进一步规范了模子的命名，方便大家识别模子的不同版本和状态，详细见下图：

不同模子的作用和利用方法，Controlnet 官方的在相关 Github 界面中都有详细先容，篇幅所限我就不一一赘述了。我选了 3 个功能做演示，让大家快速认识 Controlnet V1.1 的用法。
1. Reference 预处置惩罚器
Reference 是官方最新推出的预处置惩罚器，共有三种型号 Reference_only、Reference_adain 和 Reference_adain+atten。它只有 yam l 设置文件，没有 pth 模子文件，可以根据上传的图像天生类似的变体，来看一下它的详细利用效果。
① 在 Controlnet 上传一张图片，勾选启用，预处置惩罚器选择 Reference_only，其他参数默认。

② 选择一个大模子( 因为要天生写实人像，以是我选择写实风模子 RealisticVisionV20），输入提示词“best quality, A handsome man wearing a (white T-Shirt), angry”，步数 25，采样方法 EularA，画面尺寸 512*768px，然后点击天生。
③ 天生图与原图风格内容类似，但是人物的心情已经在 angry 的作用下发生变革了。我以同样的参数又测试了 Reference_adain 和 Reference_adain+atten，可以看出 only 和 adain+atten 比较贴近原图形象，adain 变革最明显。

④ 利用 Reference 时我们需要相识的一项参数是“Style Fidelity”，意思是风格保真度。
我用 adain+atten 处置惩罚器和固定的种子值，分别天生了 Style Fidelity 为 0/0.5/1 的图像。Style Fidelity 为 0 时，天生图像的色调、人物的衣着、背景与原图差别很明显，人物的心情更符合提示词；Style Fidelity 为 1 时，图像的色调和人物五官和原图非常相似，甚至提示词 angry 已经不起作用的，人物是微笑的。以是 Style Fidelity 数值越高，天生的图像就越像原图。

Reference 预处置惩罚器需要在高于 1.1.171 的更新中利用，官方推荐的两个参数：
Reference_only / Style Fidelity: 0.5 发起作为默认值，出图效果稳定
Reference_adain+attn/ Style Fidelity: 1.0 是目前开始进的，值得尝试，但不发起作为默认值
2. Tile 磁贴
Tile 模子的作用是可以忽略原图的细节，根据现有像素和提示词天生新的细节，目前重要作用是将严重含糊的图片放大并变得高清。我们以一张 64x64 px 的图片看一下它效果。
① 在 Controlnet 上传一张图片，勾选启用，预处置惩罚器选择 tile_resample，模子选择对应的control_v11f1e_sd15_tile，其他参数默认。

② 选择一个大模子( 我用的写实风模子 realisticVisionV20），输入提示词“ best quality, a cute dog on grassland”，步数25，采样方法 EularA，画面尺寸512*512px，天生批次2，固定种子值 12345，然后点击点击天生，最后得到了2张非常高清的图像，只是细节上有轻微差别。

③ 我又用几种不同的图像放大工具对 64x64px 的原图举行放大，得到的效果如下：

由于 64x64 px 分辨过于低，用一样平常放大工具的极限放大 4 倍也只有 256*256px；而且原图的像素值太少，以是图像纵然变大，看着仍旧含糊。而 Tile 模子则可以再有限像素值的基础上，分块扩散画面的内容，终极天生与原图相似且极为清楚的图片。
Tile 模子另有一个特点：当提示词与给定的图像不符适时，Tile 会忽略提示词的影响，转而主动识别图块内部的内容，并增加识别语义的影响，从而天生与图块相似的图像。
下图是官方给的一个示例，提示词是““a handsome man”，指定的图块里却是一片树叶，而 Tile 的天生效果也是将树叶放大了，没有在树叶里再加一个帅哥，这阐明 Tile 主动识别的图块的内容是“树叶”并举行了处置惩罚。

三、T2I- Adapter Style
最后给大家先容一非常有意思的 T2I- Adapter Style 模子，它可以将一张图片的风格迁移到另一张图片上。我乐成用 Style 模子将一张修建照片转为赛博朋克风的图片，详细操作如下：
① 在 Controlnet 中点击 Controlnet Unit 0，上传一张 512*768 px 的修建图片，我们称为主图。勾选启用，预处置惩罚器选择 mlsd，并选择对应的 mlsd 模子，以固定图像额主体结构。点击预处置惩罚器旁的爆炸小按钮，预览出图效果。

②点开 Controlnet Unit 1, 上传一张 512*768 px 的霓虹光效图片，称为副图。勾选启用，预处置惩罚器选择 t2ia_style_clipvision，并选择对应的 style 模子。

③ 选择一个大模子（我用的是 realisticVisionV20），提示词可以不写，步数25，图像尺寸 512*768 px，天生批次2，点击天生。终极效果图如下，霓虹光效的风格已经完美迁移到修建照片上了。因为利用了 mlsd 模子举行结构控制，原图的修建结构保存得很完整。

④我将 Controlnet Unit 1 的霓虹图像换成了一张动漫风格的图像，看看能不能将原图修建酿成二次元风格，效果并不理想（下图二），想了想发现可能是大模子不对，于是把写实风的realisticVisionV20 改成了二次元风的 AnythingV3模子，配对的 VAE模子为 vae-ft-mse-840000-ema-pruned ，效果就好了很多。

利用 T2I- Adapter Style 模子需要注意：
接受风格改变的主图放在 Controlnet Unit 0，提供风格的副图放在 Controlnet Unit 1，顺序不能颠倒，不然会影响出图效果。
主图、副图、终极天生图像的尺寸要保持同等。
大模子的风格要与副图（提供风格的图片）的风格同等，才华得到最好的效果。
模子已经全部打包好啦，对此感爱好的小同伴，赠予全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，详细看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断进步。未来，AIGC技术将在游戏和盘算领域得到更广泛的应用，使游戏和盘算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继承得到进步，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

一、AIGC全部方向的学习路线
AIGC全部方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证本身学得较为全面。

二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习条记
当我学到一定基础，有本身的理解能力的时候，会去阅读一些前辈整理的册本或者手写的条记资料，这些条记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思绪。

四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思绪，从基础到深入，还是很轻易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才华将本身的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)