AI绘画SD全能模型 ControlNet Union （也称ControlNet++ 或 ControlNetPlus

大家好，我是画画的小强
Controlnet 可以说是目前最紧张的一款 AI 绘画控制插件，可以帮我们实现轮廓、深度、动作姿势、颜色等多种控制效果。由于每种控制条件都必要调用不同的控制模型，加上 SD1.5 和 SDXL 的生态并不互通，大家肯定都至少安装了十几种模型文件，给磁盘空间带来了很大的压力。
最近一款名为 ControlNet++ 的模型却改变了这个状态，它将十多种控制功能合为一体，只必要安装一个模型，就能和多种不同的预处理器搭配利用，本日就来看看它的具体用法。
一、ControlNet++简介

ControlNet++，也称为 ControlNetPlus，目前更普遍的称呼是 Controlnet Union，它是一款新练习的 ControlNet 控制架构，融合了 10 多种控制模型，适用于 SDXL 1.0 生态。与独立控制模型相比，它的处理效果没有明显降落，利用起来也非常方便，所以推出后很快就受到了广泛关注。

Controlnet Union 融合的控制范例一共有 13 种，可以分为 6 大类：

• openpose 动作姿势
  
• depth 深度
  
• thick line 粗线条 (包罗：scribble / hed / softedge / ted-512 )
  
• thin line 细线条 (包罗：canny / mlsd / lineart / animelineart / ted-1280 )
  
• normal 法线贴图
  
• segment 语义分割
  

除了单独利用，Controlnet Union 也支持多重控制。也就是我们可以同时开两个控制窗口，利用不同的预处理器，然后同时选择 Controlnet Union 做为控制模型，这样运行起来显存压力更小。

Controlnet Union 的模型权重已经开源，目前 SD WebUI 和 ComfyUI 都可以利用，下面介绍具体的安装方法。
二、在 SD WebUI 中利用

模型下载链接： https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main
（如无法下载，请看文末扫描免费获取模型文件）
下载名为 diffusion_pytorch_model.safetensor 的模型文件，为了方便辨认，将其名称改为 controlnet++_union_sdxl.safetensor，然后放到根目次的 extensions\sd-webui-controlnet\models 文件夹中。

将 Controlnet 插件更新到最新版本，然后启动 WebUI，就能在 Controlnet 控制列表里看到 controlnet union 的选项了，利用时记得选择 SDXL 系列的大模型。我的显存是 8G，在用 controlnet union 时出现了内存不敷的报错，但是利用独立模型时不会有这样的问题，感觉 union 还是会必要更高的 VRAM。

另外 controlnet union 目前不适用于以下预处理器：

• 带面部和手部的姿势骨架的模型，好比 openpose_full，openpose_hand、openpose_faceonly 等，因为 union 没有对这些内容举行练习，天生的图像会出现错误。
  
• seg_ofade20k 语义分割预处理器。
  

三、在 ComfyUI 中利用

假如想在 ComfyUI 中利用 Controlnet Union，同样先下载文件，改名后并安装到 ComfyUI\models\controlnet 文件夹，或者 SD WebUI 共用路径中的 models\controlnet 文件夹中（模型资源看下方扫描免费获取哦）。

下图是一个最基础的 controlnet 调用工作流（看上方扫描免费获取哦），在 ComfyUI 中运行起来非常顺遂，没有出现爆显存的情况。运行此工作流前，必要留意：

• 图像尺寸记得与上传的图像保持同等；
  
• 选择 SDXL 大模型，假如模型不同，天生步数、CFG、采样器等参也必要同步修改；
  
• 检查是否正确地选择了 controlnet union 模型。
  

我还搭建了一个多重控制工作流，可以同时利用两种控制条件（超过两个后 controlnet union 的效果就会变差），利用时可以多实行不同的 contorlnet 强度，获取更好的效果。对于新手来说，可以先认识这两个基础工作流的节点构成，等认识之后就能将 controlnet union 联合到其他更复杂的工作流中了。

那么以上就是对新的 AI 绘画控制模型 Controlnet Union 的介绍，从总体上来说它的效果还是不错的，而且利用更方便，也省空间，非常保举大家都利用。当然假如你想要更风雅的出图效果，用最新的独立模型效果肯定会更好。
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技能的未来发展前景广阔，随着人工智能技能的不停发展，AIGC技能也将不停进步。未来，AIGC技能将在游戏和盘算领域得到更广泛的应用，使游戏和盘算体系具有更高效、更智能、更机动的特性。同时，AIGC技能也将与人工智能技能精密联合，在更多的领域得到广泛应用，对程序员来说影响至关紧张。未来，AIGC技能将继续得到进步，同时也将与人工智能技能精密联合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习门路
AIGC所有方向的技能点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记
当我学到一定基础，有自己的理解本事的时候，会去阅读一些前辈整理的册本或者手写的笔记资料，这些笔记具体纪录了他们对一些技能点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到现实当中去，这时候可以搞点实战案例来学习。

如有侵权，请联系删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。