【AI绘画】ComfyUI Flux：你必须要把握的Flux Controlnet，商业闭环就靠它
大家好，我是爱绘画的彤姐。目前Flux开始支持Controlent了，这个肯定要把握，本日就来带大家学习Flux中Controlnet的利用。
一、先容
本日继承来分享Flux生态里面一个很紧张插件，就是Controlnet，我们都知道Controlnet对SD有多紧张，有了它，才能让商业化更加落地，目前Flux生态已经开始支持Controlnet了，主要是两家机构支持，分别是Xlabs和InstantX，本日一起来先容先容。
二、安装相关
我们这里分别先容两种 Controlent 模型的安装，分别是 XLabs-AI 和InstantX。
2.1 xlabs Controlnet
插件安装：
https://github.com/XLabs-AI/x-flux-comfyui
https://i-blog.csdnimg.cn/direct/2fd1eb6f48e7475ba89ccc0835a6069f.png
模型安装：
https://huggingface.co/XLabs-AI
目前Xlabs家的Controlent已经到V3版本了，我们要安装的也是下面这3个。
目前v3版本是在1024x1024分辨率上进行练习的，效果更好。
https://i-blog.csdnimg.cn/direct/de77c3b9491d4dbab2718a68fce43a95.png
下载的模型放到下面路径下即可
ComfyUI/models/xlabs/controlnets
2.2 Shakker-Labs Controlent
原来是想先容InstantX的 FLUX.1-dev-Controlnet-Union的，但是昨天出了新东西。是Union的升级版，看了下，是InstantX联合Shakker_labs联合发布的，那我们直接测试新的即可。
https://i-blog.csdnimg.cn/direct/85fead707ae648fca22494d16cb935a5.png
模型地址：
https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro/tree/main
模型很大，还是6.6G，该模型支持7种控制模式，包括canny（0）、tile（1）、深度（2）、模糊（3）、姿势（4）、灰色（5）、低质量（6）。
模型存放路径： \models\controlnet
要利用InstantX家的Controlnet，需要安装如下插件。
https://github.com/EeroHeikkinen/ComfyUI-eesahesNodes
https://i-blog.csdnimg.cn/direct/d890046926fc4b248122d525aec298bf.png
三、利用流程
3.1 xlabs Controlnet
安装好了 x-flux-comfyui 插件后，利用路径如下
https://i-blog.csdnimg.cn/direct/8a956b65ff94409ebdca6e89028461be.png
完整的Controlnet工作流如下
https://i-blog.csdnimg.cn/direct/bd6bb0efa2dd4157bc9798e5c60fc8b7.png
核心是利用下面这个，预处理我用的从前通用的Aux，这样换其他Controlnet就不需要换节点。
https://i-blog.csdnimg.cn/direct/93b56f991cb2448184eff028d01872a2.png
这里我们对比两组，分别是差别反推提示词看效果.
原图如下
https://i-blog.csdnimg.cn/direct/c554b60f41dc48b8ae8f7fcae8a77e36.png
第一个用常用的WD1.4来反推提示词，测试canny、depth、head三种效果
https://i-blog.csdnimg.cn/direct/7d8b08aba048471c95bfa20837fddbc8.png
https://i-blog.csdnimg.cn/direct/1691136dcded4626bdacc5474200e3da.png
https://i-blog.csdnimg.cn/direct/79958760052e4619a4bebc1088c89b53.png
下面用我之前保举的BizyAir插件里面的反推节点 Joy Caption
https://i-blog.csdnimg.cn/direct/cd73148050444ba0933aa3a3adba2dec.png
https://i-blog.csdnimg.cn/direct/b4fe440440464357b1fe861e04f705ca.png
https://i-blog.csdnimg.cn/direct/8e84c22f8f5d4b4d9598c6173ca78acd.png
可以看到效果还是不错的。
3.2 ControlNet-Union-Pro
完整工作流如下，因为这个Union Controlent太大了，我4090用顶配Flux dev跑直接爆显存，所以如今改成用GGUF来测试。这里用Q4版原来测试效果。
https://i-blog.csdnimg.cn/direct/ec9dbaa5f33048ea9989e3a7f1ee9b16.png
核心在于下面这个加载模型的，预处理我还是利用Aux这个通用的
InstantX Flux Union Controlnet Loader节点就是上面我们安装的 ComfyUI-eesahesNodes 插件里面带的。
https://i-blog.csdnimg.cn/direct/206b44b136244a778610832162300cd0.png
type入参里面带有7个可选项，我们预处理选择一个模型后，这里type也要对应的选择一下即可。
https://i-blog.csdnimg.cn/direct/20d75f0b007c46d7bb4d5a2cd0ada807.png
下面是我出图的一些效果
https://i-blog.csdnimg.cn/direct/1605c5cacf874502a21502cac7b43b07.png
https://i-blog.csdnimg.cn/direct/2811cd0f553c47afb7dc1a701fa2dbcf.png
https://i-blog.csdnimg.cn/direct/0735643a492a4cf2b566123c7359189c.png
感觉嘛，不是很好呢，你们也本身测试看看。
四、总结
目前测下来，感觉还是有待提高，对显存占用太大了， 出图也慢，我已经用了GGUF了，出图还是要30多秒，这对我4090配置的电脑来说绝对受不了哈。
如果你实在想用，我个人还是保举先用Xlabs的V3版本吧，分开用，这样占用显存比力低一些。
等候后续的优化，Flux生态会越来越好。
创作不易，喜好的点个赞关注走一波~
本篇中的改版工作流全部都打包好了，想要的去后台获取吧。
工作流获取：扫描下方二维码获取，无偿分享。
感兴趣的小伙伴，赠予全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
https://i-blog.csdnimg.cn/direct/4fc9bf35fdb64c969933ac071982dda6.jpeg
AIGC技术的将来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。将来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更机动的特性。同时，AIGC技术也将与人工智能技术精密结合，在更多的领域得到广泛应用，对程序员来说影响至关紧张。将来，AIGC技术将继承得到提高，同时也将与人工智能技术精密结合，在更多的领域得到广泛应用。
https://img-blog.csdnimg.cn/direct/e6a8b48b8024497daecb9d6652c72bb7.png#pic_center
一、AIGC全部方向的学习路线
AIGC全部方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证本身学得较为全面。
https://img-blog.csdnimg.cn/direct/af6e2f485a4f485d9b76a93afa81a02f.png
https://img-blog.csdnimg.cn/direct/7d91365d8b3a45aba258f4603c71dc5c.png#pic_center
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
https://img-blog.csdnimg.cn/direct/01a2ea000b474fef83abfd18888b2e38.png
三、最新AIGC学习笔记
当我学到肯定根本，有本身的理解本事的时间，会去阅读一些先辈整理的书籍或者手写的笔记资料，这些笔记具体记载了他们对一些技术点的理解，这些理解是比力独到，可以学到不一样的思路。
https://img-blog.csdnimg.cn/direct/9e597a6fae9344cea8f4a9caf30ecc55.png
https://img-blog.csdnimg.cn/direct/f2619de95125425d8a19b85ce2ff1894.png
四、AIGC视频教程合集
观看全面零根本学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从根本到深入，还是很容易入门的。
https://img-blog.csdnimg.cn/direct/ce803d0289b84736b059293d696429b6.png
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将本身的所学运用到实际当中去，这时间可以搞点实战案例来学习。
https://img-blog.csdnimg.cn/direct/373dd1f17ed14db1a2fa4dfec03c0559.png
https://i-blog.csdnimg.cn/direct/b34955a90e234a90afec27962ce9e2c2.jpeg
若有侵权，请接洽删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]