stable diffusion Controlnet常用控制范例剖析与实战课程 3

本节内容，给大家带来的是stable diffusion Controlnet常用控制范例剖析与实战的第三节课程。前两节的课程，我们已经了解了controlnet一些常用控制范例的用法，包罗线稿类，姿态，深度，语义分割控制范例，本节课程，我们将继续讲解一些与图像风格束缚相关的controlnet 控制范例 - shuffle、reference和normalmap

这几个控制范例通过将图片的风格，包罗颜色，脚色，光影等元素特征提取，进而控制图片的绘制。



一：Shuffle

首先看一下shuffle控制范例，该控制范例可以将图片颜色特征融合到新的图像中。

我们看一下shuffle预处理器如何控制绘图，
这里有一幅山水水墨画以及一幅人物图像，我们启用两个controlnet，第一个controlnet单元使用canny，并上传人物图像做参考图，用于提取人物线稿，

第二个controlnet单元选择shuffle，并上传水墨画作为参考图。必要特别提醒的是。使用shuffle引入图片风格时会影响整体构图，我们通常必要调整“引导介入时机”参数，先生成出大体的外形再去改变画风，我们这里设置为0.3，

点击生成。可以看到绘制的人物图片已经融入了水墨画特征。

二：Reference

我们再看一个图像风格束缚控制范例reference，

ai绘画有一个很现实的问题，多次出图要保证每次画出的都是同一个人物的话，很困难。纵然固定同一个seed值，改变提示词，人物照旧大概发生明显变化。比如我们使用一张之宿世成的图像，在提示词中增长了smile，固定种子值，所以参数值保持一致，点击生成，绘制的图片，人物照旧发生了较大的变化。

要想保持人物一致性，我们可以通过训练同一个人物的高质量Lora来到达目标，但训练lora必要消耗盘算资源与时间，并且本身就必要大量同一个人物的图像资源。

controlnet插件的Reference控制范例，以非常出色的表现给出了新的解决方案。reference控制范例可以在绘制图片的过程中，参考原图的脚色特征。

reference有几个细分预处理器
启用controlnet后，选择reference，预处理器会自动选择reference_only，该预处理器非常强盛，会参考图中的风格以及人物脸部特征，绘制图片的脚色相似度非常高。比如刚刚的例子中，参数，种子保持一致，使用reference_only预处理器，上传人物图像，我们在提示词中增长一些心情元素，

比如添加smile(1 girl,smile)，介入时机设置为0，
点击生成，可以看到生成的图片脚色基本还原了原脚色特征。

我们也可以比较一下和图生图的差异，我们使用图生图，添加参考图，然后提示词也填入1 girl,smile,  点击生成，可以看到绘制的新的图片脚色实在和原图有较大差异，已经可以明显看出不是同一个人了。纵然我们固定随机种子，生成的图片和原脚色仍旧有较大差异，看不出来是同一个人物。

又比如如果使用reference_only, 我们可以增长一个耳环
使用提示词1 girl, ear pendants，种子值设置为-1
可以看到人物的角度固然发生了变化，但是和原图的人物脚色相似度仍旧比较高。

Reference_only固然不如使用人物lora输出那么稳定，但仍旧是一个非常良好的人物一致性出图解决方案。
另外，除了人物，reference_only在动物特征一致性上也有着非常好的表现。

Reference_only是使用较多的预处理器，reference控制范例还有另外两个细分预处理器
这里是使用这几个预处理器生成图片的对比

Reference adain，采用了自顺应 规范，但是该预处理器会更方向于使用的模型，所以结果大概偏离参考图
Reference adain+attn，比Reference adain在人物一致性上处理得更好，绘制的图片人物相似度也更高

三：NormalMap

我们继续讲解另外一个控制范例-normalmap，normalmap提供了基于法线贴图的图像控制方式。对于法线贴图，熟悉渲染的同学大概经常碰到，他主要通过使用深度以及表面变形的方式为模型添加凹凸的立体结果，

上传一张参考图，使用normalmap控制范例，点击预览，normalmap预处理器会根据肯定算法盘算生成图像的法线贴图，

然后根据法线贴图控制图像的生成过程。

normalmap有两个细分预处理器

normal_bae和normal_midas,两者的区别就是使用了不同的算法。我们可以对比一下两者的区别《ppt图片》

normal_bae 法线贴图倾向于背景和前景整体渲染，他能更好地还原图片中的整体风格
normal_midas 法线贴图则恰当将主体与背景分脱离，生成的图片中，背景和某些元素大概会被抹除。

normal_midas提供了Normal Background Threshold选项用于调整背景分离程度，

我们可以对比一下不同取值提起的信息，可以看到，该值越低，背景信息保留得越多，越高，背景信息则保留得越少

好了，本节课的课程到这里就结束了，我们做一下总结。本节课程我们主要讲述了shuffle、reference和normalmap这三个与风格束缚相关的控制范例，这些控制范例可以基于参考图片的颜色，脚色，光影等特征，控制图片的绘制。下节课程我们将继续讲述几个紧张的控制范例，比如可用于图片高清修复的tile控制范例，可以给老照片上色的recolor控制范例等等，这些控制范例提供了许多有价值的图像控制思路，也是controlnet控制体系的紧张构成部门。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。